JP7222285B2 - 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法 - Google Patents

Description

本発明は、表示制御装置、表示装置、表示システム、移動体、プログラム、及び、画像生成方法に関する。

運転者等の乗員が少ない視線移動で情報を確認できるように、乗員の前方に各種の情報を虚像として提示するヘッドアップディスプレイ(ＨＵＤ)が搭載された表示システムが知られている。また、車両が各種センサを用いて周囲の状況を把握し、障害物に関する情報を乗員に表示して警告したり、車両を制御したりする先進運転システム(ADAS)の普及が進んでいる。

表示システムが自車両の例えば後方に他車両が検出されたことをアイコンで表示すれば、乗員は少ない視線移動で後方から他車両が接近していることなどを把握できる。しかし、単にアイコンを表示するだけでは、障害物の接近方向を乗員が把握しにくい。

また、他車両の将来位置を伝える表示システムが考案されている（例えば特許文献１参照。）。特許文献１には、自車両の乗員から見て隣の車線に、自車両の後側方の車両との相対速度又は相対距離に応じて伸長する線分を表示する車両情報投影システムについて開示されている。こうすることで、障害物の接近方向を乗員が把握しやすくなる。

しかしながら、特許文献１に記載された技術では、表示領域が限られた虚像では実現が困難で、表示領域に伸長する線分を表示したとしても、障害物の接近方向を把握しにくいという問題を解決できない。

本発明は、上記課題に鑑み、限られた表示範囲で周囲の障害物の接近方向を提示できる表示制御装置を提供することを目的とする。

上記課題に鑑み、本発明は、透過部材を介して移動体の前方に虚像を提示する表示部に情報を提示させる表示制御装置であって、前記移動体の周囲の障害物に関する情報を取得する情報取得部と、虚像として提示された際、前記障害物の方向を指し示すと共に、前記障害物の方向に接近するように移動する指示画像のデータを前記情報取得部が取得した前記障害物に関する情報に基づいて生成する表示画像生成部と、前記表示画像生成部が生成した前記指示画像、及び、前記移動体に対し所定の位置に表示される前記移動体を表す表示部品、を前記表示部に出力する出力部と、を有し、前記出力部は、前記表示部品と前記障害物との距離に応じて、前記表示部品と前記指示画像との間隔を変化させることを特徴とする。

限られた表示範囲で周囲の障害物の接近方向を提示できる表示制御装置を提供することができる。

表示システムが周囲の障害物の検出結果に応じて表示する情報の一例を示す図である。 車両に搭載された表示システムの概略を示す図の一例である。 表示部の構成を示す図の一例である。 表示システムが移動体に搭載された車載システムの構成図の一例である。 車載システムのうち検出部の構成例を示す図である。 認識部が有する機能の一例を説明する図である。 自車両又は自車両を示す表示部品に対する障害物の相対位置の一例を説明する図である。 表示制御部のハードウェア構成図の一例である。 表示制御部の機能をブロック状に示す機能ブロック図の一例である。 指示画像の変換について説明する図の一例である。 路面にペイントされた変換前画像の投影面への透視投影変換を説明する図の一例である。 第１ＡＲモードと第２ＡＲモードの判断方法の一例を示す図である。 指示画像が非表示になるタイミングを説明する図の一例である。 自車両を示す表示部品と指示画像との間隔について説明する図の一例である。 距離と間隔の対応関係の一例を示す図である。 第２ＡＲモードから始まった場合の、自車両を示す表示部品と指示画像との間隔について説明する図である。 指示画像の大きさを説明する図の一例である。 車載システムによる動作の全体的な手順を示すフローチャート図の一例である。 表示システムが指示画像の表示を行う一例の処理を示すフローチャート図である。 乗員の視界に入った場合に指示画像が非表示になる表示例を説明する図である。 駐車している他車両を指示画像が指し示す表示例について説明する図である。 第１ＡＲモードが開始され第２ＡＲモードに遷移する際の指示画像の表示例を示す図である。 指示画像、自車両を示す表示部品の表示例を示す図である。

以下、本発明を実施するための形態の一例として、表示システムと表示システムが行う画像生成方法について図面を参照しながら説明する。

＜本実施形態の情報の表示の概略＞
まず、図１を用いて、本実施形態における情報の画像生成方法の概略を説明する。図１は、表示システムが周囲の障害物の検出結果に応じて表示する情報の一例を示す。本実施形態では、表示システムとしてＨＵＤ（Head Up Display）装置により情報を提示する形態を説明する。ただし、液晶ディスプレイなどその他の表示システムへの適用を制限しない。

（１）図１（ａ）では、自車両８の左後側方に他車両６が障害物として検出された。表示システムは自車両８を示す表示部品６２を中心として他車両６の方向を指示画像６１で指し示す表示を開始する。図１（ｂ）に示すように、表示システムはフロントウィンドウシールドの前方（例えば数メートル）に情報を虚像Ｉとして提示する。図１（ｂ）では自車両８を示す表示部品６２として車速「３１km/h」が表示されている。また、表示部品６２を中心として障害物の方向を示す指示画像６１が表示部品６２に近接した状態で表示されている。他車両６は左後側方なので指示画像６１も表示部品６２の左後側方に配置され表示部品６２から見て左後側方を指している（以下では、指示画像６１は、表示部品６２から見て指示画像６１が指し示す方向と同じ方位（左後側方を指すなら左後側方）に配置されるものとする）。

自車両８を示す表示部品６２を中心として障害物の方向を指示画像６１で指し示すことで、虚像Ｉの表示領域（図の点線内）を広げることなく、他車両６が自車両８に対してどの方向に存在するのかを的確に通知することができる。このように、表示部品６２を中心として障害物の方向を示す指示画像６１が表示部品６２に近接した状態の表示モードを第１ＡＲモードという。

（２）図１（ｃ）に示すように他車両６が自車両８の側方に移動したこと（追い抜こうとしたこと）が検出される。他車両６は左側方なので、表示システムは自車両８を示す表示部品６２を中心として左方向を示す指示画像６１を表示部品６２に近接させた状態で表示する。図１（ｃ）に示すように指示画像６１が表示部品６２に近接している範囲は虚像内における「所定の範囲」の一例である。

本実施形態の表示システムは、「表示システムの表示領域内で直接、障害物を指し示せる状態」になった場合、虚像Ｉの表示領域を移動して障害物を直接指し示す指示画像６１を表示する。「表示システムの表示領域内で直接、障害物を指し示せる状態」については後述するが、簡単には、指示画像６１が指し示す方向に自車両８を挟まずに障害物が存在する状態である。表示領域を移動するとは、自車両８を示す表示部品６２から離れて、障害物に接近することをいう。なお、自車両８を示す表示部品６２は路面にＡＲ（Augmented Reality）表示されている。

このように、「表示システムの表示領域内で直接、障害物を指し示せる状態」になった場合に表示される、虚像Ｉの表示領域を指示画像６１が移動する状態の表示モードを第２ＡＲモード表示という。図１（ｄ）は第２ＡＲモード表示に切り変わった直後の指示画像６１を示すため、図から分かりにくいが、この指示画像６１は虚像Ｉの表示領域内を移動できる。

（３）図１（ｅ）に示すように他車両６が自車両８の左前方に移動したことが検出される（追い抜きがほぼ完了した）。表示システムは第２ＡＲモードなので、指示画像６１が他車両６の方向を指し示して表示されるだけでなく、自車両８を示す表示部品６２と他車両６を結ぶ直線上に、自車両８を示す表示部品６２と他車両６との距離に応じた位置に表示される。指示画像６１は自車両８を示す表示部品６２と他車両６の距離が近いほど、他車両６に近い位置（虚像Ｉの表示領域の外側）に表示される。乗員は指示画像６１が指し示す方向の障害物を把握しやすくなる。また、指示画像６１が自車両８を示す表示部品６２からどのくらい離れたか（表示領域の外縁にどの位接近したか）によって、他車両６との距離を把握できる。したがって、方向と距離により、自車両８に対する他車両６の相対位置（位置関係）を推定できる。

図１（ｆ）では自車両８を示す表示部品６２と他車両６を結ぶほぼ直線上に指示画像６１があり、指示画像６１は図１（ｄ）の状態よりも自車両８を示す表示部品６２から離れている。つまり、図１（ｄ）の状態の指示画像６１が、自車両８を示す表示部品６２と他車両６の相対位置の変化にしたがって指し示す向きを変えながら徐々に表示領域の外側に向かって移動する。

このように、本実施形態の表示システムは、第１ＡＲモードから第２ＡＲモードにシームレスに遷移する。第２ＡＲモードでは障害物の方向に矢頭を向けながら、障害物に接近する方向に移動するので、距離や方向を把握しやすい。第１ＡＲモードで他車両６の方向を指し示していた指示画像６１が、自車両８を示す表示部品６２と他車両６の相対位置の変化にしたがって、指し示す向きを変えながら表示領域の外側に向かって移動し、やがて他車両６を直接指し示すので、限られた表示領域で障害物に対し連続性のある警告が可能になる。このように、乗員から見て車両前方に情報を表示する表示システムであっても、限られた表示領域で周囲の障害物の接近方向を適切に乗員に提示できる。

＜用語について＞
障害物とは進行の妨げになる物体、障害、動体、不動体などをいう。物に限られず人や動物も含む。

移動体とは乗員が乗車して陸上、空中、海上、又は、海中を移動するものであればよい。本実施形態では一例として車両を例にして説明する。この他、航空機、船舶、産業用ロボット等にも搭載され得る。

車両の乗員とは、表示システムの情報を視認する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。

移動体の周囲とは、前方、側方、後方の全てを言うが、必ずしも３６０度をカバーしていなくてもよい。また、前方については含まれなくてもよい。

指示画像は、障害物の方向を指し示す画像である。矢印の形状であることを意味するのではなく、指し示す機能を有していればよい。本実施形態で図示する他、「→」でもよいし、何らかの凸部があるものでもよい。

障害物に関する情報とは、指示画像が障害物を指し示すために必要となる情報であり、障害物の位置に関する情報である。

＜構成例＞
図２は、車両に搭載された表示システム１の概略を示す図の一例である。表示システム１は表示制御部２０（表示制御装置の一例）と表示部１０（表示装置の一例）を有している。

表示システム１はダッシュボードの内部に埋め込まれており、表示システム１の上面に設けられ射出窓３からフロントウィンドウシールド９１（透過部材）に向けて映像を投影する。投影された映像はフロントウィンドウシールド９１よりも前方に虚像Ｉとして表示される。車両の乗員Ｖは視線を前方の車両や路面に保ったまま（少ない視線移動で）運転に有用な情報を目視できる。なお、表示システム１はフロントウィンドウシールド９１に映像を投影できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。

表示システム１は、汎用的な情報処理端末である場合とＨＵＤ専用端末の場合がある。ＨＵＤ専用端末は単にヘッドアップディスプレイ装置と呼ばれる他、ナビゲーション装置と一体である場合にはナビゲーション装置と呼ばれる場合がある。また、ＰＮＤ（Portable Navigation Device）とも呼ばれる。あるいはディスプレイオーディオ（又はコネクティッドオーディオ）と呼ばれてもよい。ディスプレイオーディオとは、ナビゲーションの機能を搭載せずに主にＡＶ機能と通信機能を提供する装置である。

汎用的な情報処理端末は、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、及び、ウェアラブルＰＣ（例えば、腕時計型、サングラス型など）などである。汎用的な情報処理端末はこれらに限定されるものではなく、一般的な情報処理装置の機能を有していればよい。汎用的な情報処理端末は、普段は各種のアプリケーションを実行する情報処理装置として利用されるが、例えば表示システムのためのアプリケーションソフトウェアを実行する場合に、ＨＵＤ専用端末と同様、運転に有用な情報を表示する。

本実施形態の表示システム１は、汎用的な情報処理端末とＨＵＤ専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってよい。

図２に示すように、表示システム１は、主要な構成要素として、表示部１０と、表示制御部２０とを有している。表示部１０の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し中間像（後述するスクリーンに投影される実像）を形成する方式である。パネル方式は、液晶パネル、ＤＭＤパネル（デジタルミラーデバイスパネル）、蛍光表示管（ＶＦＤ）等のイメージングデバイスで中間像を形成する方式である。

レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光／非発光を割り当てることができるため、一般に高コントラストの画像を形成することができる点で好適である。高コントラストであることは視認性に優れるため、パネル方式のＨＵＤ装置よりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。

特に、パネル方式では情報がない領域でも遮光しきれない光が投影され、ＨＵＤが画像を表示できる範囲に表示枠が投影されてしまう（この現象をポストカードという）。レーザ操作方式ではこのような現象がなく、コンテンツのみを投影できる。特に、ＡＲ（Augmented Reality）において、実在する風景に生成した映像を重ねて表示する際のリアリティが向上する。なお、ＡＲとは「拡張現実」と訳され、実在する風景に実在しないオブジェクトの映像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術である。ただし、パネル方式のＨＵＤであってもより少ない注意資源で視認できる（疲れにくい）態様で情報を表示できるＨＵＤ装置であればよい。

図３は、表示部１０の構成を示す図の一例である。表示部１０は、主に、光源部１０１と、光偏向器１０２と、ミラー１０３と、スクリーン１０４と、凹面ミラー１０５とを有している。なお、図３は主要な構成要素を示したに過ぎず、図示する以外の構成要素を有していてもよいし、図示する構成要素の一部を有していなくてもよい。

光源部１０１は、例えば、ＲＧＢに対応した３つのレーザ光源（以下、ＬＤ：レーザダイオードとする）、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのＬＤから出射されたレーザビームを合成して光偏向器１０２の反射面に向かって導く。光偏向器１０２の反射面に導かれたレーザビームは、光偏向器１０２により２次元的に偏向される。

光偏向器１０２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器１０２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとすることができる。光偏向器１０２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。光偏向器１０２として、ガルバノミラーやポリゴンミラー等を用いてもよい。

光偏向器１０２により２次元的に偏向されたレーザビームはミラー１０３に入射し、ミラー１０３により折り返され、スクリーン１０４の表面（被走査面）上に２次元の画像（中間像）を描画する。ミラー１０３としては、例えば凹面鏡を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器１０２とミラー１０３でレーザビームの方向を偏向することで、表示部１０の小型化又は構成要素の配置を柔軟に変更できる。

スクリーン１０４としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。一般に光源部１０１からスクリーン１０４まではＨＵＤ装置と呼ばれる。ただし、この他の部品を含んでもよい。

スクリーン１０４から射出されたレーザビームは、凹面ミラー１０５で反射され、フロントウィンドウシールド９１に投影される。凹面ミラー１０５はレンズと似た働きを有し、所定の焦点距離に像を結像させる機能を有する。このため、凹面ミラー１０５がレンズであるとすると物体に相当するスクリーン１０４上の像は凹面ミラー１０５の焦点距離によって定まる距離Ｒ_２の位置に像を結ぶ。したがって、車両の乗員から見た場合、フロントウィンドウシールド９１から距離Ｒ_１＋Ｒ_２の位置に虚像Ｉが表示される。車両の乗員からフロントウィンドウシールド９１までの距離をＲ_３とすると、図３では車両の乗員Ｖの視点Ｅから距離Ｒ（＝Ｒ_１＋Ｒ_２＋Ｒ_３）の位置に虚像Ｉが表示される（結像する）。

フロントウィンドウシールド９１への光束の少なくとも一部は車両の乗員Ｖの視点Ｅに向けて反射される。この結果、車両の乗員Ｖはフロントウィンドウシールド９１を介してスクリーン１０４の中間像が拡大された虚像Ｉを視認可能となる。すなわち、車両の乗員Ｖから見てフロントウィンドウシールド９１越しに中間像が拡大表示された虚像Ｉが表示される。

なお、通常、フロントウィンドウシールド９１は平面ではなく僅かに湾曲している。このため、凹面ミラー１０５の焦点距離だけでなくフロントウィンドウシールド９１の曲面によっても虚像Ｉの結像位置が決定されるが、距離Ｒは上記のようにほぼ距離Ｒ_１＋Ｒ_２によって定まる。視線移動が少なくて済むように虚像Ｉを遠方に結像させるには、距離Ｒ_１又はＲ_２を長くする。距離Ｒ_１を長くする方法としてはミラーで光路を折り返す方法があり、距離Ｒ２を長くする方法としては凹面ミラー１０５の焦点距離を調整する方法がある。

なお、フロントウィンドウシールド９１の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー１０３及び凹面ミラー１０５の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。

また、フロントウィンドウシールド９１よりも視点Ｅ側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー１０５からの光を照射するようにしても、フロントウィンドウシールド９１に凹面ミラー１０５からの光を照射した場合と同様に、虚像Ｉとして情報を提示することができる。

＜表示システムが搭載される車載システムの構成例＞
続いて、図４を用いて、表示システム１が移動体に搭載された場合の構成例を説明する。図４は表示システム１が移動体に搭載された車載システム２の構成図の一例である。車載システム２はＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１、エンジンＥＣＵ（Electronic Control Unit）１２、表示システム１、ブレーキＥＣＵ１３、ステアリングＥＣＵ１４、認識部１５、及び、検出部１６を有している。

カーナビゲーションシステム１１は、ＧＰＳに代表されるＧＮＳＳ（Global Navigation Satellite System）を有し、車両の現在地を検出して電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両９に送信したり経路検索を行ったりすることができる。

エンジンＥＣＵ１２は、各センサからの情報と車両の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構などの制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照するなどして変速の必要性を判断する。エンジンＥＣＵ１２はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。

ブレーキＥＣＵ１３は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、障害物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、車両の乗員によるブレーキペダルの操作がなくても車両の各車輪ごとに制動力を制御する。

ステアリングＥＣＵ１４は、車両の乗員によるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は、障害物との接近を回避する方向に、車両の乗員によるハンドル操作がなくても操舵する。

検出部１６は各種のセンサを有しており、自車両８の周囲の障害物を検出する。認識部１５は検出部１６が検出した障害物が何か、自車両８に対する障害物の相対位置（方向と距離）及び自車両８を示す表示部品６２に対する障害物の相対位置（方向と距離）を認識する。車速等の情報、及び、障害物の識別結果と相対位置は表示システム１に入力される。

＜検出部の構成例＞
続いて、図５を用いて、検出部１６の構成について説明する。図５は、車載システム２のうち検出部１６の構成例を示す図である。検出部１６は、表示システム１が表示する車速を検出する車速センサ１６１、表示システム１が表示する車両情報を取得する車両情報センサ１６２、障害物を検出するレーダセンサ１６３と周囲カメラ１６４、乗員に関する情報である乗員状態情報を取得する乗員状態情報センサ１６５、外部から渋滞情報などを受信するＶＩＣＳ受信装置１６６（登録商標。ＶＩＣＳ：Vehicle Information and Communication System Center）、及び、インターネットなどに接続する外部通信装置１６７を有している。

なお、検出部１６が有する各センサは検出部１６にまとまって存在する必要はなく、車載されていればよい。

車速センサ１６１は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。

車両情報センサ１６２は、車速センサ１３１以外の車両情報を検出する１つ以上のセンサを有している。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び、水温センサなどである。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。シフトレバー位置センサは車両の乗員が操作したシフトレバー位置を検出する。オドメータは車両の走行距離を累積して総走行距離を提供する。トリップメータは車両の乗員が初期化してから現在までの区間走行距離を提供する。ウィンカセンサは車両の乗員が操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、車両から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量なども取得できる。

周囲カメラ１６４は車両の周囲を撮像する撮像装置である。取り付け場所は好ましくは車用の側方から後方を撮像できるように、複数の場所に設置される。例えば、車両のルーフやバンパにおいて車両の左後方コーナー、右後方コーナー、及び、後部などに設置される。後部に設置された撮像装置をバックモニタというが、後部の周囲カメラ１６４はバックモニタに限られない。この他、サイドミラー、ピラー、ルーフのサイド部分、又はドアなどに配置されてもよい。なお、周囲カメラ１６４には前方を撮像する撮像装置が含まれてよい。例えばルームミラーの裏側やその近くに取り付けられる。

周囲カメラ１６４は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ１６３がなくてもよい。しかし、距離情報を取得できる周囲カメラ１６４に加え、レーダセンサ１６３があることで、周囲カメラ１６４の距離情報とレーダセンサ１６３の距離情報をフュージョンし（統合し），互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ１６３と周囲カメラ１６４の他にソニックセンサ（超音波センサ）などを有していてもよい。

レーダセンサ１６３は自車両８の前方、側方、後方など車両の周囲にレーダを送信し、物体で反射して戻ってくるレーダを受信する。配置場所は周囲カメラと同様に車両の周囲の障害物を検出できる場所であればよい。レーダセンサ１６３は送信から受信までの時間により物体までの距離を検出すると共に、レーダの照射方向により物体の方向を検出するＴＯＦ方式（Time Of Fright）がある。ＴＯＦ方式のレーダセンサとしてＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）が知られている。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するＦＭＣＷ方式（Frequency Modulation Continuous Wave）がある。ＦＭＣＷ方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。

乗員状態情報センサ１６５は車両の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。代表的なものに顔カメラがある。顔カメラは車両の乗員の顔を撮像して顔認証を行い、車両の乗員を特定又は識別する。また、顔画像から顔向きや視線方向を検出することが可能になる。

この他、乗員状態情報センサ１６５は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサなどでもよい。乗員状態情報センサ１６５としては例えば、腕時計型のウェアラブル端末（スマートウォッチ）を車両の乗員が装着する形態がある。

ＶＩＣＳ受信装置１６６はＶＩＣＳが配信する電波を受信する。なお、ＶＩＣＳは渋滞や交通規制などの道路交通情報を、ＦＭ多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置１６７は３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、及び、無線ＬＡＮなどのネットワークを介してインターネットなどに接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。また、ニュース、音楽、動画などを受信してもよい。また、外部通信装置１６７は、例えば信号機の状態情報と信号が変わるまでの時間などを取得できる。このように、ＶＩＣＳ受信装置１６６と外部通信装置１６７は路車間通信を行う場合がある。この他、外部通信装置１６７は車車間通信で他車両６が検出した情報を取得してもよい。

なお、先進運転システム(ADAS)では情報を表示して警告するだけでなく、車両の制御を行う場合もある。この場合、ＥＣＵはレーダセンサ１６３又は周囲カメラ１６４の少なくとも一方が検出する障害物の距離情報に基づいてエンジンＥＣＵ１２、ブレーキＥＣＵ１３及びステアリングＥＣＵ１４と連携して各種の運転支援を行う。例えば、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、障害物の回避操舵等を行う。このような制御のために、前方を撮像する撮像装置が撮像した画像データから、ＥＣＵが道路標識、及び、白線などの道路ペイントなどを認識する。

追従走行時の加減速制御では、ＥＣＵは車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、ＴＴＣに応じて、警告、ブレーキペダルの押下を促す表示、及び、衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ＥＣＵ３６は撮像された画像データから白線（走行区分線）を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。障害物の回避操舵では、制動では衝突を回避できないと判断した場合に、障害物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。

また、例えば車線変更時にレーダセンサ１６３又は周囲カメラ１６４により、隣の車線のドアミラーに映らない領域（死角領域）を併走する車両を検知した場合に、乗員に警告する。このような支援をブラインドスポットモニタという。

＜認識部について＞
次に、図６を用いて、検出部１６が検出する情報に基づいて認識部１５が認識する障害物に関する情報について説明する。図６は認識部１５が有する機能の一例を説明する図である。認識部１５は対象判断部１５１と相対位置決定部１５２を有する。

対象判断部１５１は主に周囲カメラ１６４が撮像して得た周囲画像データを解析して写っている障害物の種類を判断する。本実施形態では、例えば、他車両６、歩行者、二輪車、又は、その他などを判断する。なお、本実施形態では必ずしも障害物が何であるか判断しなくてもよいが、例えば、その他に分類される壁などに対し、表示システム１が指示画像６１を表示することを防止できる。また、障害物の種類によって指示画像６１の形状などを変更できる。

なお、周囲カメラ１６４がステレオカメラの場合、周囲画像データの各画素又は画素ブロックには距離情報が含まれている。このような周囲画像データを距離画像という。また、対象判断部１５１は周囲画像データだけでなく、レーダ測距情報からも障害物を判断できる。例えば、ＬＩＤＡＲの点群の密度が十分に高い場合、障害物の形状が得られるので、形状を解析して障害物の種類を判断できる。

対象判断部１５１が対象を判断する方法の１つとして、機械学習を用いた画像認識方法がある。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。なお、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがある。

相対位置決定部１５２は、図７に示すように、自車両８又は自車両８を示す表示部品６２に対する障害物の相対位置（方向と距離）を決定する。図７は、自車両８又は自車両８を示す表示部品６２に対する障害物の相対位置の一例を説明する図である。図７に示すように、自車両８を示す表示部品６２（虚像Ｉの中心）が、車両の中心から車幅方向にＱ、車長方向にＰの位置に表示されるものとする。

周囲画像データ又はレーダ測距情報により他車両６が車両の中心を原点に（Ａ，Ｂ）の座標であることが検出されたものとする。また、車両の中心から他車両６までの距離をＬ_１、その方向をθ_１で表す。なお、周囲画像データが距離画像の場合、（Ａ，Ｂ）を直接求められるが、レーダ測距情報の場合は距離と方向を（Ａ，Ｂ）に分解すればよい。相対位置決定部１５２は座標（Ａ，Ｂ）を、自車両８を示す表示部品６２を基準とする座標（Ｃ，Ｄ）に変換する。

自車両８を示す表示部品６２は虚像Ｉとして提示されるので自車両８の前方の決まった位置に存在する。上記のように車両の中心から自車両８を示す表示部品６２までの車幅方向の距離をＱ、車長方向の距離をＰとすると、座標（Ｃ，Ｄ）は以下のように決定される。
（Ｃ、Ｄ）＝（Ａ＋Ｑ,Ｂ＋Ｐ）
相対位置決定部１５２は車両に配置された各レーダセンサ又は周囲カメラごとに同様の処理を行い、自車両８を示す表示部品６２に対する障害物の相対位置を決定する。相対位置を決定することで距離と方向も求められる。自車両８を示す表示部品６２から他車両６までの距離をＬ_２、その方向をθ_２で表す。図７の例では、距離Ｌ_２＝√（Ｃ^２＋Ｄ^２）、方向θ_２＝arctan（D/C）である。なお、方向θ_１、θ_２の基準（どの方向を0度とするか）は適宜設定されてよい。図７では９時の方向を０度としている。

＜表示制御部のハードウェア構成例＞
続いて、図８を用いて、表示制御部２０のハード的な構成例について説明する。図８は、表示制御部２０のハードウェア構成図の一例である。表示制御部２０は、ＦＰＧＡ２０１と、ＣＰＵ２０２と、ＲＯＭ２０３と、ＲＡＭ２０４と、Ｉ／Ｆ２０５と、バスライン２０６と、ＬＤドライバ２０７と、ＭＥＭＳコントローラ２０８とを有している。ＦＰＧＡ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、及びＩ／Ｆ２０５は、バスライン２０６を介して相互に接続されている。

ＣＰＵ２０２は、表示制御部２０の各機能を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が、表示制御部２０の各機能を制御するために実行するプログラム２０３ｐを記憶している。ＲＡＭ２０４にはプログラム２０３ｐが展開され、ＣＰＵ２０２がプログラム２０３ｐを実行するためのワークエリアとして使用される。また、ＲＡＭ２０４は画像メモリ２０９を有している。画像メモリ２０９は虚像Ｉとして投影される画像の生成に使用される。Ｉ／Ｆ２０５は、認識部１５や検出部１６と通信するためのインターフェイスであり、例えば車両９のＣＡＮ（Controller Area Network）バス又はイーサネット（登録商標）等に接続される。

ＦＰＧＡ２０１は、ＣＰＵ２０２が作成した画像に基づいてＬＤドライバ２０７を制御する。ＬＤドライバ２０７は表示部１０の光源部１０１のＬＤを駆動することで、画像に応じたＬＤの発光を制御する。ＦＰＧＡ２０１は、画像の画素位置に応じた方向にレーザビームが偏向されるようにＭＥＭＳコントローラ２０８を介して表示部１０の光偏向器１０２を動作させる。

＜表示制御部の機能について＞
続いて、図９を用いて、表示制御部２０が有する機能について説明する。図９は、表示制御部２０の機能をブロック状に示す機能ブロック図の一例である。表示制御部２０は情報取得部２１、画像変換部２２、モード判断部２３、間隔・大きさ決定部２４、表示画像生成部２５、及び、出力部２６を有している。表示制御部２０が有するこれらの機能は、表示制御部２０のＲＯＭ２０３からＲＡＭ２０４に展開されたプログラム２０３ｐをＣＰＵ２０２が実行することにより実現される機能又は手段である。

情報取得部２１は表示部１０が表示する情報と指示画像６１を第１ＡＲモード又は第２ＡＲモードで表示するための情報を検出部１６と認識部１５から取得する。例えば、検出部１６から車速等を取得し、認識部１５から障害物の種類、相対位置（距離Ｌ_１，Ｌ_２、方向θ_１、θ_２）を取得する。また、情報取得部２１は、障害物が指示画像６１で指し示す必要がないものである場合（障害物がその他の場合）、障害物の種類、相対位置等を破棄する。ただし、車速等については継続して表示される。

画像変換部２２は、障害物の方向θ_１（自車両８に対する方向θ_１）に基づいて指示画像６１を選択し、この指示画像６１を路面にＡＲ表示した場合の指示画像６１に変換する。つまり、表示部１０により路面に表示された場合に自然な矢印の形状に見えるように、保持している指示画像６１を変換する。変換の詳細は後述される。画像変換部２２は自車両８から見た障害物の方向θ_１及び変換した指示画像６１を表示画像生成部２５に送出する。

モード判断部２３は、自車両８を示す表示部品６２に対する障害物の距離Ｌ_２と方向θ_２に基づいて第１ＡＲモードか第２ＡＲモードかを判断する。また、第２ＡＲモードを終了するか否かを判断する。

第２ＡＲモードである場合、間隔・大きさ決定部２４は、自車両８を示す表示部品６２と障害物との距離Ｌ_２に基づいて、指示画像６１と自車両８を示す表示部品６２との間隔Ｄ（すなわち距離）と指示画像６１の大きさを決定する。

表示画像生成部２５は、自車両８を示す表示部品６２として車速等を表示領域の中央に配置する。また、指示画像６１の表示モードに応じて以下のように、指示画像６１を配置する。なお、表示画像生成部２５は指示画像６１に関するデータを生成する。
・第１ＡＲモード：自車両８を示す表示部品６２を中心に、自車両８に対する障害物の方向θ_１と同じ方向に、表示部品６２に近接させて指示画像６１を配置する。
・第２ＡＲモード：自車両８に対する障害物の方向θ_１と同じ方向に、自車両８を示す表示部品６２から間隔・大きさ決定部２４が決定した間隔Ｄを空けて指示画像６１を配置する。

出力部２６は表示画像生成部２５が生成した自車両８を示す表示部品６２及び指示画像６１を出力する。すなわち、ＬＤドライバ２０７及びＭＥＭＳコントローラ２０８を制御して、表示画像生成部２５が生成した表示部品６２と指示画像６１を表示部１０に表示させる。

＜指示画像の変換について＞
図１０は指示画像６１の変換について説明する図の一例である。図１０（ａ）はＡＲ画像に変換される変換前画像５３が仮に自車両８の前方の路面３０１にペイントされている場合の想定図である。このような進行方向に縦長の変換前画像５３が路面３０１に実際にペイントされていると仮定すると、乗員Ｖの視点と路面３０１の射影関係により乗員Ｖには歪みの少ない指示画像の形状に見える。本実施形態では、自車両８に対する障害物の方向θ_１に応じて複数の変換前画像５３が予め用意されている。

図１０（ｂ）は同様に路面３０１にペイントされた変換前画像と自車両８の側面図である。一例として、自車両８の車幅方向をｘ軸、鉛直方向をｙ軸、進行方向をｚ軸とする。変換前画像の頂点の１つの座標を（ｘ_１，ｙ_１，ｚ_１）とする。自車両８と共に移動する所定の原点（例えば車両の中心）をとると、路面３０１までの高さｙ_１は既知になる。また、変換前画像までの距離ｚ_１は一定値でもよいし障害物の距離により決定してもよい。また、ｘ方向については自車両８の正面とする（表示領域内の位置は別途決定されるため）。以上から（ｘ_１，ｙ_１，ｚ_１）は既知である。

図１１は、路面３０１にペイントされた変換前画像５３の投影面５４への透視投影変換を説明する図の一例である。画像変換部２２は変換前画像の透視投影変換を行うが、透視投影変換には投影面５４の設定が必要になる。投影面５４とは変換前画像５３が投影される２次元平面である。投影面５４は乗員Ｖの視界を表すが、ＨＵＤ装置がＡＲ画像を表示する場合、運転者は虚像Ｉを視認するため、虚像Ｉの投影位置のほぼ垂直な平面が投影面５４として設定される。投影面５４の大きさも表示領域の大きさ等から適宜、決定されている（表示領域とほぼ同じ）。

画像変換部２２はこの投影面５４に対し透視投影変換を行う。これにより、変換前画像５３が運転者から見て歪みの少ない指示画像６１に変換される。

＜第１ＡＲモードと第２ＡＲモードの切り替え＞
まず、第１ＡＲモードは、上記のように、自車両８を表す表示部品６２の周囲に近接させて（間隔を空けずに）障害物を指し示す指示画像６１を表示する表示モードである。第１ＡＲモードは、「表示システムの表示領域内で直接、障害物を指し示せる状態」でないが、自車両８から所定距離内に障害物が検出された場合に有効となる。例えば、ブラインドスポットモニタが障害物を検出したタイミングで第１ＡＲモードを開始することが考えられる。

第２ＡＲモードは、障害物の方向を指し示す虚像Ｉ内の指示画像６１が障害物に接近する方向に移動できる（自車両８を表す表示部品６２と指示画像６１の間に間隔を空けられる）表示モードである。また、指示画像６１の大きさを変化させることができる。第１ＡＲモードにおいても指示画像６１の大きさを変化させてよい。第２ＡＲモードは、「表示システムの表示領域内で直接、障害物を指し示せる状態」で開始する。なお、第２ＡＲモードは第１ＡＲモードから遷移する場合と、第２ＡＲモードから始まる場合がある。

図１２は第１ＡＲモードと第２ＡＲモードの一例の判断方法を示す図である。図１２（ａ）では自車両８の左後側方に他車両６が検出されている。自車両８を示す表示部品６２と他車両６（例えば最近接部）を結ぶ直線は自車両８と重なっている。第２ＡＲモードは指示画像６１が指し示す方向に自車両８を挟まずに障害物が存在する状態と言えるので、図１２（ａ）は「表示システムの表示領域内で直接、障害物を指し示せる状態」でないため第１ＡＲモードと判断される。

図１２（ｂ）では自車両８の左側面に他車両６が検出されている。自車両８を示す表示部品６２と他車両６（例えば最近接部）を結ぶ直線は自車両８と重ならない。したがって、「表示システムの表示領域内で直接、障害物を指し示せる状態」なので、第２ＡＲモードと判断される。

図１２に示すように、「表示システムの表示領域内で直接、障害物を指し示せる状態」か否かは、自車両８を示す表示部品６２に対する他車両６の方向θ_２と相関すると考えてよい。モード判断部２３は、ブラインドスポットモニタの警告対象となるなど所定距離内に検出された他車両６の方向θ_２と閾値を比較して、第２ＡＲモードであるか否かを判断する。

なお、図１３に示すように、第２ＡＲモードは、乗員（例えば運転者）の視界に他車両６が入った場合、終了する。図１３は指示画像が非表示になるタイミングを説明する図の一例である。視界に入ったか否かの判断は、乗員状態情報センサによる視線方向を使用してもよいし、自車両８又は自車両８を示す表示部品６２に対する他車両６の方向θ_１，θ_２と閾値を比較して判断してもよい。例えば、図１３ではθ_２＝０により、第２ＡＲモードによる指示画像６１の表示を終了すると判断する。

＜自車両を示す表示部品と指示画像との間隔＞
第２ＡＲモードでは、自車両８を示す表示部品６２と障害物との距離Ｌ_２に応じて、自車両８を示す表示部品６２と指示画像６１との間隔Ｄが変化する。すなわち、自車両８を示す表示部品６２と障害物との距離Ｌ_２が大きいほど、自車両８を示す表示部品６２と指示画像６１との間隔Ｄが小さくなる。換言すると、自車両８を示す表示部品６２と障害物との距離Ｌ_２が小さいほど、自車両８を示す表示部品６２と指示画像６１との間隔Ｄが大きくなる。

図１４は、自車両８を示す表示部品６２と指示画像６１との間隔について説明する図の一例である。図１４（ａ）は、第２ＡＲモードであると判断された直後の状態であるとする。自車両８を示す表示部品６２と他車両６との距離をＬ_２－１、自車両８から見た他車両６の方向をθ_１－１とする。図１４（ｂ）は、他車両６が自車両８よりもやや前方に移動した状態である。自車両８を示す表示部品６２と他車両６との距離をＬ_２－２、自車両８から見た他車両６の方向をθ_１－２とする。図１４（ｃ）は、他車両６が自車両８よりも完全に前方に移動した状態である。自車両８を示す表示部品６２と他車両６との距離をＬ_２－３、自車両８から見た他車両６の方向をθ_１－３とする。

したがって、Ｌ_２－１＞Ｌ_２－２＞Ｌ_２－３ である。また、θ_１－１＜θ_１－２＜θ_１－３（絶対値に関して）である。なお、距離Ｌ_２－３を一例として自車両８を示す表示部品６２と障害物との距離の最小値とする。

自車両８を示す表示部品６２と指示画像６１との間隔Ｄは、自車両８を示す表示部品６２と障害物との距離Ｌ_２が小さいほど大きくなるので、図１４（ａ）の状態に対応する図１４（ｄ）の間隔Ｄ_１は最小値Ｄmin（表示部品６２にほぼ近接した状態）である。図１４（ｂ）の状態に対応する図１４（ｅ）の間隔Ｄ_２はＤ_１よりもやや大きくなり、図１４（ｃ）の状態に対応する図１４（ｆ）の間隔Ｄ_３はＤ_２よりも大きくなっている。これにより、自車両８を示す表示部品６２に対しどの位の距離に障害物があるかを乗員が把握しやすくなる。

間隔・大きさ決定部２４は、距離Ｌ_２－１をＤmin、距離Ｌ_２－３を間隔Ｄの最大値Ｄmax（指示画像６１が表示領域の最外縁にある状態）に対応させ、任意の距離Ｌ_２の場合の間隔Ｄを決定する。

図１５は距離Ｌ２と間隔Ｄの対応関係の一例を示す。図１５（ａ）は距離Ｌ_２と間隔Ｄの対応関係が線形の場合を、図１５（ｂ）は距離Ｌ_２と間隔Ｄが非線形であり、間隔Ｄが大きい状態を維持しやすい対応関係を、図１５（ｃ）は距離Ｌ_２と間隔Ｄが非線形であり、間隔Ｄが小さい状態を維持しやすい対応関係を、それぞれ示す。障害物の警告に適した対応関係が使用される。

図１４に戻り、図１４（ｄ）～（ｆ）では、指示画像６１と自車両８を示す表示部品６２の中心を結ぶ直線の角度が、それぞれθ_１－１、θ_１－２、θ_１－３と同程度となっている。表示画像生成部２５は、自車両８から見た他車両６の方向θ_１と間隔・大きさ決定部２４が決定した間隔Ｄにより定まる虚像Iの表示領域内の位置に指示画像６１を配置する。これにより、自車両８を示す表示部品６２に対しどの方向に障害物があるかを乗員が把握しやすくなる。

＜第２ＡＲモードから始まる場合＞
図１６に示すように、自車両８の前方の障害物を検出したような場合、第２ＡＲモードから始まる。図１６は第２ＡＲモードから始まった場合の、自車両８を示す表示部品６２と指示画像６１との間隔Ｄについて説明する図である。図１６では自車両８が他車両６を追い越す状況を想定する。

図１６（ａ）は、自車両８の認識部１５が前方の他車両６が所定距離以内であると検出した状態を示す。モード判断部２３は、距離が所定距離内で方向が「表示システムの表示領域内で直接、障害物を指し示せる状態」であると判断し第２ＡＲモードであると判断する。第２ＡＲモードから始まった場合、短時間であれば、乗員（例えば運転者）の視界に他車両６が入っても、第２ＡＲモードを終了しない。自車両８を示す表示部品６２と他車両６との距離をＬ_２－４、自車両８から見た他車両６の方向をθ_１－４とする。

図１６（ｂ）は、自車両８が車線変更して他車両６と併走状態に入った状態である。自車両８を示す表示部品６２と他車両６との距離をＬ_２－５、自車両８から見た他車両６の方向をθ_１－５とする。図１６（ｃ）は、自車両８が他車両６よりも前方に移動した状態である。図１６（ｂ）から図１６（ｃ）に移行する過程で、「表示システムの表示領域内で直接、障害物を指し示せる状態」でなくなるので、モード判断部２３が第１ＡＲモードであると判断する。自車両８を示す表示部品６２と他車両６との距離をＬ_２－６、自車両８から見た他車両６の方向をθ_１－６とする。したがって、Ｌ_２－４＜Ｌ_２－５＜Ｌ_２－６ である。

自車両８を示す表示部品６２と指示画像６１との間隔Ｄは、自車両８を示す表示部品６２と障害物との距離Ｌ_２が小さいほど大きくなるので、図１６（ａ）の状態に対応する図１６（ｄ）の間隔Ｄ４は表示領域の外縁に近いＤｍａｘである。図１６（ｂ）の状態に対応する図１６（ｅ）の間隔Ｄ５はＤ４よりも小さくなり、図１６（ｃ）の状態に対応する図１６（ｆ）の間隔Ｄ６は、第１ＡＲモードに切り替わったためＤminである。これにより、自車両８を示す表示部品６２に対しどの位の距離に障害物があるかを乗員が把握しやすくなる。

間隔・大きさ決定部２４は、上記の図１５のような距離Ｌ_２と間隔Ｄの対応関係を用いて距離Ｌ_２から間隔Ｄを決定する。第１ＡＲモードから第２ＡＲモードに切り替わった場合の対応関係と、第２ＡＲモードから始まった場合の対応関係は同じでなくてよい。例えば、第２ＡＲモードから始まったがその後、距離Ｌ_２が大きくなった場合、完全に追い越したことが分かるように、距離Ｌ_２が大きくても間隔Ｄを大きい状態に維持することなどが有効になる。このような対応関係が図１５（ｂ）に相当する。

なお、図１６（ｄ）～（ｆ）では、指示画像６１と表示部品６２の中心を結ぶ直線の角度が、それぞれθ_１－４、θ_１－５、θ_１－６と同程度となっている。これにより、自車両８を示す表示部品６２に対しどの方向に障害物があるかを乗員が把握しやすくなる。

＜指示画像の大きさについて＞
図１７は指示画像６１の大きさを説明する図の一例である。間隔・大きさ決定部２４は自車両８を示す表示部品６２と障害物との距離Ｌ_２が小さいほど、指示画像６１を大きくする。例えば、距離Ｌ_２を１０段階程度に区切って、１から１０の大きさを表す大きさ情報を表示画像生成部２５に送出する。表示画像生成部２５は、画像変換部２２が変換した指示画像６１を大きさ情報に基づいて拡大して（又は縮小して）表示領域に配置する。

距離Ｌ_２が小さいほど間隔Ｄが大きいので、図１７に示すように指示画像６１は表示領域の外側ほど大きくなる。なお、図１７では説明のために、同一の障害物との距離が異なる場合の３つの指示画像６１を示している。このように自車両８を示す表示部品６２と障害物との距離Ｌ_２が小さいほど指示画像６１が大きくなるので、近くの障害物に乗員が気づきやすくなる。

＜動作手順＞
図１８は、車載システムによる動作の全体的な手順を示すフローチャート図の一例である。図１８の処理は、車載システム２が起動すると（例えば、スタートボタンのオン、イグニッションＯＮ）繰り返し実行される。

まず、検出部１６は周囲の障害物の検出を繰り返し実行する（Ｓ１）。これにより、車両の中心から各障害物までの距離と方向又は座標が検出される。

次に、認識部１５が障害物の種類を認識し、障害物ごとに相対位置を認識する（Ｓ２）。障害物の種類は、他車両６、歩行者、二輪車、又はその他などである。他車両６を大型車、中型車、普通車、商用車など更に詳細に判別してもよい。歩行者を大人、子供、男性、女性、車椅子など更に詳細に判別してもよい。なお、その他としては、ガードレール、建物、樹木などの地物が挙げられる。

表示システム１は、車速等、障害物の種類及び相対位置（方向、距離）を認識部１５から受け取り、表示システム１が指示画像６１を表示する障害物の種類かを判断する（Ｓ３）。指示画像６１を表示する障害物の種類は、他車両６、歩行者、二輪車など移動するものとする。地物については移動しないため（自車両８を追い越したりしないし、道路上にはほとんど存在しない）、指示画像６１を表示する対象外とする。他車両６、歩行者、二輪車は路面に対し停止していても指示画像６１の表示の対象とするが、停止している場合は地物と同様に扱ってもよい。

ステップＳ３の判断がＹｅｓの場合、表示システム１が指示画像６１の表示処理を開始する（Ｓ４）。

図１９は、表示システム１が指示画像６１の表示を行う一例の処理を示すフローチャート図である。

情報取得部２１は障害物が所定距離内に存在するか否かを判断する（Ｓ１１）。この所定距離は、相対的に接近するおそれがある障害物が存在することを乗員に知らせる必要がある距離である。例えば、ブラインドスポットモニタの検出範囲は自車両８の端部から２～３ｍくらいである。また、方向によって障害物が接近する速度が異なるのでステップＳ１１の所定距離は障害物の方向によって異なっていてもよい。また、ＴＴＣで判断してもよい。

ステップＳ１１の判断がＮｏの場合、処理はステップＳ２０に進み、指示画像６１は非表示となる。表示画像生成部２５はまだ指示画像６１が表示されていなければ表示することなく、すでに表示されていれば非表示にする。

ステップＳ１１の判断がＹｅｓの場合、モード判断部２３は虚像Ｉの表示領域内で直接、障害物を指し示せる状態か否かを判断する（Ｓ１２）。上記のようにこの判断は、自車両８を示す表示部品６２に対する障害物の方向θ_２（虚像Ｉにおける自車両８を示す表示部品６２と障害物を結ぶ直線の角度）と閾値とを比較して行われる。自車両８に対する障害物の方向θ_１で判断してもよい。

ステップＳ１２の判断がＮｏの場合、モード判断部２３は第１フラグをＯＮにする（Ｓ１３）。第１フラグは着目している障害物について一度でも第１ＡＲモードとなったことを意味する。

次に、表示画像生成部２５は自車両８を示す表示部品６２を中心に、間隔ＤをＤminとして、画像変換部２２が変換した指示画像６１であって障害物を指し示す指示画像６１を配置する（Ｓ１４）。配置される位置は表示部品６２に対しθ_１の方向である。

ステップＳ１２の判断がＮｏの場合、モード判断部２３は第２フラグをＯＮにする（Ｓ１５）。第２フラグは着目している障害物について一度でも第２ＡＲモードとなったことを意味する。

次に、第２ＡＲモードなので間隔・大きさ決定部２４が自車両８を示す表示部品６２と障害物との距離Ｌ_２に基づいて間隔Ｄと指示画像６１の大きさを決定する（Ｓ１６）。

表示画像生成部２５は指示画像６１を大きさ情報に応じて拡大又は縮小し、間隔Ｄと自車両８に対する障害物の方向θ_１で定まる表示領域内の位置に指示画像６１を配置する（Ｓ１７）。

次に、モード判断部２３は第１フラグがＯＮ、かつ、第２フラグがＯＮで、乗員（例えば運転者）の視界に障害物が入っているか否かを判断する（Ｓ１８）。第１フラグがＯＮ、かつ、第２フラグがＯＮである場合、障害物が自車両８の後方から前方に移動したと推定できる。第１フラグがＯＦＦ、かつ、第２フラグがＯＮであることは、障害物が自車両８の前方から出現したと推定できる。第１フラグがＯＮ、かつ、第２フラグがＯＦＦのまま、視界に障害物が入ることは生じることは全くないか又はあったとしても希である。

したがって、ステップＳ１８の判断がＹｅｓの場合、モード判断部２３は指示画像６１の表示を終了すると判断し、表示画像生成部２５は指示画像６１を非表示にする（Ｓ２０）。

ステップＳ１８の判断がＮｏの場合、モード判断部２３は、第２フラグがＯＮだが、乗員（例えば運転者）の視界に他車両６が入っている時間が閾値以上か否かを判断する（Ｓ２０）。これは、第２ＡＲモードから始まったが、渋滞の場合や他車両６が右折又は左折する場合に、いつまでも指示画像６１を表示することを抑制するためである。

ステップＳ１９の判断がＹｅｓの場合、モード判断部２３は指示画像６１の表示を終了すると判断し、表示画像生成部２５は指示画像６１を非表示にする（Ｓ２０）。

ステップＳ１９の判断がＮｏの場合、処理はステップＳ１１に戻る。この場合、第１ＡＲモードを経て、障害物が所定距離内でなくなると非表示になる。

このように、本実施形態の表示システム１は第１ＡＲモードから始まってもシームレスに第２ＡＲモードに遷移でき、第２ＡＲモードから始まってもシームレスに第１ＡＲモードに遷移できる。また、他車両６が視界に入ると指示画像６１を非表示にできるので煩わしさを抑制できる。

＜視界に入った場合に指示画像が非表示になる表示例＞
図２０は、乗員の視界に入った場合に指示画像６１が非表示になる表示例を説明する図である。図２０（ａ）に示すように、自車両８は交差点にさしかかっており、右から他車両６が接近している。モード判断部２３は表示領域内で直接、障害物を指し示せる状態であると判断し、表示システム１は第２ＡＲモードで他車両６の方向を指し示す指示画像６１を表示する（図２０（ｂ））。自車両８を示す表示部品６２と他車両６の距離Ｌ_２が長いため間隔Ｄは小さく、指示画像６１の大きさも小さい。

次に、図２０（ｃ）に示すように、他車両６が交差点を右折し始める。引き続き、モード判断部２３は表示領域内で直接、障害物を指し示せる状態であると判断し、表示システムは第２ＡＲモードで他車両６の方向を指し示す指示画像６１を表示する（図２０（ｄ））。自車両８を示す表示部品６２と他車両６の距離Ｌ_２が短いため間隔Ｄは大きく、指示画像６１も大きくなる。

図２０（ｃ）の状態で、閾値以上の時間、乗員の視界に他車両６が入った（図２０（ｅ））。モード判断部２３は指示画像６１を非表示にすると判断するので、図２０（ｆ）に示すように、表示システム１は指示画像６１を非表示にする。

＜駐車している他車両を指示画像が指し示す表示例＞
図２１は、駐車している他車両６を指示画像６１が指し示す表示例について説明する図である。図２１（ａ）に示すように自車両８の左前方に他車両６が駐車しており、自車両８が接近している。モード判断部２３は表示領域内で直接、障害物を指し示せる状態であると判断し、表示システム１は第２ＡＲモードで他車両６の方向を指し示す指示画像６１を表示する（図２１（ｂ））。自車両８を示す表示部品６２と他車両６の距離Ｌ_２が短いため間隔Ｄは大きく、指示画像６１も大きい。

図２１に示すように、第２ＡＲモードでは、自車両８を示す表示部品６２を中心に、指示画像６１が他車両６の方向を直接、指し示すため、乗員に他車両６の存在を警告しやすくなる。

＜第２ＡＲモードが開始された時の指示画像６１の表示例＞＞
図２２に示すように、第２ＡＲモードが開始された時、より注意喚起性を向上させるために、指示画像６１を強調するとよい。図２２は第１ＡＲモードが開始され第２ＡＲモードに遷移する際の指示画像６１の表示例を示す図である。

まず、図２２（ａ）（ｂ）は第１ＡＲモードが開始される前の自車両８を示す表示部品６２の表示例である。図２２（ａ）に示すように、自車両８の隣のレーンの後方を他車両６が走行している。検出部１６が他車両６を検出していないか、又は、検出していても所定距離以上離れているので、図２２（ｂ）に示すように表示システム１は指示画像６１を表示していない。したがって、自車両８を示す表示部品６２だけが表示されている。

次に、図２２（ｃ）に示すように、他車両６が自車両８の左後側方まで接近した。検出部１６が他車両６を検出し、所定距離内に接近したので、図２２（ｄ）に示すように表示システム１は指示画像６１の表示を開始する。指示画像６１は他車両６を指し示す。
次に、図２２（ｅ）に示すように、指示画像６１が表示領域内で直接、障害物を指し示せる状態になった。表示システム１は第２ＡＲモードに遷移する。この時、表示画像生成部２５は図２２（ｆ）に示すように、障害物の方向に近づいたり遠ざかったりする位置に指示画像６１を表示することを短時間に繰り返す。指示画像６１は自車両８を示す表示部品６２と障害物を結ぶ直線上の狭い範囲（例えば間隔Ｄmaxの１０～２０％程度）を振動する。あるいは、バウンドすると表現できる。

このように、第２ＡＲモードが開始された時、指示画像６１が強調されることで、より注意喚起性を向上させることができる。なお、強調する方法としては、指示画像６１を一時的に大きくしてもよいし、点滅させてもよいし、又は、一時的に輝度を大きくしてもよい。また、第１ＡＲモードが開始された時に同様の強調処理を行ってもよい。

＜指示画像、自車両を示す表示部品の表示例＞
図２３を用いて、指示画像６１、自車両８を示す表示部品６２の表示例をいくつか説明する。

まず、自車両８を示す表示部品６２は車速に限られない。車速以外に、車両内部から取得できる情報又はインターネットなどを介して外部から取得できる情報を表示部品６２にすることができる。また、表示部品６２は、例えば図２３（ａ）に示すように、車両のアイコンでもよい。この他、自車両８のシンボル的な図、記号、マーク、文字等であれば自車両８を示す表示部品６２となりうる。車速が表示部品６２でない場合、車速は継続的に表示されることが好ましいため、アイコンは自車両８に対する障害物の方向θ１に応じて車速の左、右、下側又は上側に表示される。例えば、障害物が自車両８の左側なら車速の左側、右側なら車速の右側、障害物が両側から接近する場合は車速の両側に車両のアイコンが表示される。

その上で、アイコンを中心に自車両８に対する障害物の方向θ１と同じ方向に指示画像６１が配置される。図２３では、障害物が自車両８の左側から接近する例を示している。

図２３（ｂ）は指示画像６１の一例である。図２３（ｂ）では三角マーク７１が指示画像６１である。第１ＡＲモードでは、三角マーク７１が円形マーク７２に沿って回転して障害物を指し示す。第２ＡＲモードでは、三角マーク７１が円形マーク７２から離れて、障害物を指し示す。

図２３（ｃ）は指示画像６１の一例である。図２３（ｃ）では凸部７３が指示画像６１である。第１ＡＲモードでは、凸部７３と一体の方位マーク７４が回転することで障害物を指し示す（方位磁石のイメージ）。第２ＡＲモードでは、凸部７３が方位マーク７４から分離して三角マーク７５となり、障害物を指し示す。

図２３（ｄ）は複数の指示画像６１の表示例である。虚像Iの表示領域に同時に表示できる指示画像６１は１つに限られず、検出された障害物の数だけ表示可能である。自車両との距離Ｌ_１が近い順に所定数の指示画像６１を表示してもよい。

図２３（ｅ）は同じく複数の指示画像６１の表示例である。複数の指示画像６１が表示された場合、一方が第１ＡＲモードで表示され、他方が第２ＡＲモードで表示される場合もある。

＜まとめ＞
以上説明したように、本実施形態の表示システムは、第１ＡＲモードから第２ＡＲモードにシームレスに遷移する。第２ＡＲモードでは障害物の方向に矢頭を向けながら、障害物に接近する方向に移動するので、距離や方向を把握しやすい。第１ＡＲモードで他車両６の方向を指し示していた指示画像６１が、自車両８を示す表示部品６２と他車両６の相対位置の変化にしたがって、指し示す向きを変えながら表示領域の外側に向かって移動し、やがて他車両６を直接指し示すので、限られた表示領域で障害物に対し連続性のある警告が可能になる。このように、乗員から見て車両前方に情報を表示する表示システムであっても、限られた表示領域で周囲の障害物の存在を適切に乗員に提示できる。

＜その他の好適例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、他車両６を表す表示部品を表示してもよい。この場合、自車両８を示す表示部品６２、指示画像６１及び他車両６を表す表示部品が一直線上に並んで表示される。この場合、他車両６を表す表示部品を障害物の種類に応じて変更してよい。

また、障害物の種類に応じて、指示画像６１の形状等を変更してもよい。また、指示画像６１を大きくする場合には、自車両８を示す表示部品６２を小さくしてもよい。これにより、視覚的な錯覚で指示画像６１がより大きく見え、間隔Ｄも大きく見える。あるいは、自車両８を示す表示部品６２の輝度を小さくするなど、目立たせなくしてもよい。

また、指示画像６１は常に虚像Ｉの中央にある必要はなく、前後左右に寄っていてもよい。また、動的に移動してもよい。例えば、左から他車両６が接近する場合に、自車両８を示す表示部品６２が右に寄せて表示し、自車両８を示す表示部品６２の左側のスペースを広く取ることで指示画像６１が移動できる距離を長く取ることができる。

また、指示画像６１は必ずしもＡＲ表示しなくてもよいし、ＡＲ表示する場合でも路面に沿っていなくてよい。例えば、路面より上方に浮かんでいてもよい。

また、表示システム１は液晶ディスプレイなどでもよい。また、表示制御部２０と表示部１０は別々に流通するなど、筐体が分かれていてもよい。例えば、スマートフォンを表示制御部２０としてスマートフォンが内蔵するディスプレイに情報を表示してもよいし、虚像をコンバイナに表示してもよい。

また、表示システム１が表示する情報は車速に限られず、車両内部から取得できる情報又はインターネットなどを介して外部から取得できる情報を表示できる。

また、自車両を示す表示部品６２の位置は虚像Ｉの表示領域の中心である必要はなく、自車両に対する障害物の方向θ１に従って、中心から右側、左側又は両側に表示させてもよい。

また、図９などの構成例は、表示制御部２０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示制御部２０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 表示システム
２ 車載システム
９ 車両
１０ 表示装置
１１ カーナビゲーションシステム
２０ 表示制御部

特許６３０３４２８号公報

Claims (20)

1. 透過部材を介して移動体の前方に虚像を提示する表示部に情報を提示させる表示制御装置であって、
   前記移動体の周囲の障害物に関する情報を取得する情報取得部と、
   虚像として提示された際、前記障害物の方向を指し示すと共に、前記障害物の方向に接近するように移動する指示画像のデータを前記情報取得部が取得した前記障害物に関する情報に基づいて生成する表示画像生成部と、
   前記表示画像生成部が生成した前記指示画像、及び、前記移動体に対し所定の位置に表示される前記移動体を表す表示部品、を前記表示部に出力する出力部と、を有し、
   前記出力部は、前記表示部品と前記障害物との距離に応じて、前記表示部品と前記指示画像との間隔を変化させることを特徴とする表示制御装置。
2. 前記表示画像生成部は、虚像内において予め定めた所定の範囲から前記障害物の方向に接近するように前記指示画像が移動するデータを生成することを特徴とする請求項１に記載の表示制御装置。
3. 前記所定の範囲は、前記移動体を表す前記表示部品を中心にした所定の範囲であることを特徴とする請求項２に記載の表示制御装置。
4. 前記表示画像生成部は、虚像内において前記移動体を示す前記表示部品を中心にして前記表示部品に近接させて、前記移動体に対する前記障害物の方向を指し示す前記指示画像のデータを生成することを特徴とする請求項１～３のいずれか１項に記載の表示制御装置。
5. 前記表示画像生成部は、虚像内において前記移動体を示す前記表示部品に近接させて提示されていた前記指示画像が、前記障害物に関する情報に応じて、前記表示部品から離れて前記障害物の方向に徐々に移動する前記指示画像のデータを生成することを特徴とする請求項４に記載の表示制御装置。
6. 前記表示画像生成部は、前記障害物に関する情報に基づいて決定した前記障害物と虚像内において前記移動体を示す前記表示部品との距離が近いほど、虚像内において前記移動体を示す表示部品との間隔を大きくして、前記指示画像のデータを生成することを特徴とする請求項５に記載の表示制御装置。
7. 前記表示画像生成部は、前記障害物に関する情報に基づいて決定した前記障害物と虚像内において前記移動体を示す前記表示部品との距離が近いほど、大きい前記指示画像のデータを生成することを特徴とする請求項５又は６に記載の表示制御装置。
8. 前記表示画像生成部は、前記障害物に関する情報に含まれる前記移動体に対する前記障害物の方向に応じて、
   虚像内において前記移動体を示す前記表示部品を中心にして前記表示部品に近接させて前記障害物の方向を指し示す前記指示画像のデータを生成するか、
   前記障害物に関する情報に応じて虚像内を前記障害物の方向に移動する前記指示画像のデータを生成するかを切り替えることを特徴とする請求項４～７のいずれか１項に記載の表示制御装置。
9. 透過部材を介して移動体の前方に虚像を提示する表示部に情報を提示させる表示制御装置であって、
   前記移動体の周囲の障害物に関する情報を取得する情報取得部と、
   虚像として提示された際、前記障害物の方向を指し示すと共に、前記障害物の方向に接近するように移動する指示画像のデータを前記情報取得部が取得した前記障害物に関する情報に基づいて生成する表示画像生成部と、
   前記表示画像生成部が生成した前記指示画像を前記表示部に出力する出力部と、を有し、
   前記移動体の後方又は後側方の前記障害物が検出された場合、
   前記表示画像生成部は、虚像内において前記移動体を示す表示部品を中心にして前記表示部品に近接させて、前記移動体に対する前記障害物の方向を指し示す前記指示画像のデータを生成し、
   後方又は後側方の前記障害物が前記移動体を追い抜く際、虚像内において前記移動体を示す前記表示部品から見た前記障害物の方向が、所定の方向になった場合、
   前記表示画像生成部は、前記表示部品に近接していた前記障害物の方向を指し示す前記指示画像が前記障害物の方向への移動を開始するデータを生成することを特徴とする表示制御装置。
10. 前記移動体の前方に前記障害物が検出された場合、
    前記表示画像生成部は、虚像内において前記移動体を示す前記表示部品に対する前記障害物の方向を指し示す前記指示画像のデータを、前記障害物と虚像として提示される前記表示部品との距離及び前記障害物の方向とに応じて定まる虚像内の位置に生成し、
    前記障害物を前記移動体が追い越す際、虚像内において前記移動体を示す前記表示部品から見た前記障害物の方向が、所定の方向になった場合、
    前記表示画像生成部は、虚像内において前記移動体を示す前記表示部品を中心にして前記表示部品に近接させて、前記移動体に対する前記障害物の方向を指し示す前記指示画像のデータを生成することを特徴とする請求項８に記載の表示制御装置。
11. 前記障害物に関する情報に含まれる前記障害物の方向が所定の方向になった場合、
    前記表示画像生成部は、虚像内において前記移動体を示す前記表示部品を中心にして前記表示部品に近接させて配置されている前記障害物の方向を指し示す前記指示画像を強調するデータを生成することを特徴とする請求項８～１０のいずれか１項に記載の表示制御装置。
12. 前記表示画像生成部は、前記移動体を示す前記表示部品と前記障害物を結ぶ直線上において、前記障害物の方向に近づいたり遠ざかったりする位置に前記指示画像のデータを生成することを短時間に繰り返すことを特徴とする請求項１１に記載の表示制御装置。
13. 前記表示画像生成部は、前記障害物に関する情報に基づいて前記障害物が前記移動体の乗員の視界に入ったと判断される場合、前記指示画像を非表示にすることを特徴とする請求項１～１２のいずれか１項に記載の表示制御装置。
14. 虚像内において前記移動体を示す前記表示部品は前記移動体の車速を示す表示部品であることを特徴とする請求項１～１３のいずれか１項に記載の表示制御装置。
15. 前記表示画像生成部は、前記障害物に関する情報に基づいて決定した前記障害物と虚像として提示される前記移動体を示す前記表示部品との距離が近いほど、明るい前記指示画像を生成することを特徴とする請求項１～１４のいずれか１項に記載の表示制御装置。
16. 請求項１～１５のいずれか１項に記載の表示制御装置から前記指示画像を取得して、
    前記指示画像をフロントウィンドウシールドに投影することで、前記フロントウィンドウシールドの前方に前記指示画像の虚像を乗員に対し視認させることを特徴とする表示装置。
17. 請求項１～１５のいずれか１項に記載の表示制御装置と、
    前記表示制御装置から前記指示画像を取得して、前記指示画像をフロントウィンドウシールドに投影することで、前記フロントウィンドウシールドの前方に前記指示画像の虚像を視認させる表示装置と、
    を有することを特徴とする表示システム。
18. 請求項１７に記載の表示システムが搭載された移動体。
19. 移動体に搭載された表示装置に情報を表示する表示制御装置を、
    前記移動体の周囲の障害物に関する情報を取得する情報取得部と、
    虚像として提示された際、前記障害物の方向を指し示すと共に、前記障害物の方向に接近するように移動する指示画像のデータを前記情報取得部が取得した前記障害物に関する情報に基づいて生成する表示画像生成部と、
    前記表示画像生成部が生成した前記指示画像、及び、前記移動体に対し所定の位置に表示される前記移動体を表す表示部品、を前記表示装置に出力する出力部、として機能させ、
    前記出力部は、前記表示部品と前記障害物との距離に応じて、前記表示部品と前記指示画像との間隔を変化させるプログラム。
20. 移動体に搭載された表示装置に情報を表示する表示制御装置が行う画像生成方法であって、
    情報取得部が、前記移動体の周囲の障害物に関する情報を取得するステップと、
    表示画像生成部が、虚像として提示された際、前記障害物の方向を指し示すと共に、前記障害物の方向に接近するように移動する指示画像のデータを前記情報取得部が取得した前記障害物に関する情報に基づいて生成するステップと、
    出力部が、前記表示画像生成部が生成した前記指示画像、及び、前記移動体に対し所定の位置に表示される前記移動体を表す表示部品、を前記表示装置に出力するステップと、
    前記表示部品と前記障害物との距離に応じて、前記表示部品と前記指示画像との間隔を変化させるステップと、
    を有することを特徴とする画像生成方法。

Images