JP6806097B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は画像表示装置及び画像表示方法に関する。

車両に搭載するヘッドアップディスプレイ（以下、ＨＵＤという）装置の技術開発が進んでいる。このようなＨＵＤ装置については、車両の運転者が、少ない視線移動で警報及び情報を認知できる装置として市場の期待が高まっている。特に、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）に代表される車載センシング技術の進展に伴い、車両はさまざまな走行環境情報及び車内乗員の情報を取り込むことができるようになっている。車両に搭載するＨＵＤ装置はそれらの情報を運転者に伝える「ＡＤＡＳの出口」としても注目されている。

車両に搭載するＨＵＤ装置は運転者の視点位置から数ｍ先に虚像として画像を表示する。車両に搭載するＨＵＤ装置はこのようにして、当該画像があたかも自車両前方の実空間上に存在するかのように表示することが可能である。このようにあたかも実空間上に存在するかのように見せる技術はＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれ、各情報をより運転者に直感的に提示することができるとされている。

開示の目的は、画像表示装置が表示する画像と、当該画像と同位置又は当該画像の近傍に存在する物体が視認者の視点位置から見て重なるときに視認者の視認性を向上させることである。

画像表示装置は、虚像としての画像を表示する表示部と、前記画像と同位置又は前記画像の近傍にある前方車両を撮影する第１のカメラと、視認者の頭部の画像を撮影する第２のカメラと、前記第２のカメラが撮影した前記視認者の頭部の画像を解析して前記視認者の視点位置を検出する制御部と、を備え、前記制御部が検出した、前記画像を見る前記視認者の視点位置から見たときに、前記第１のカメラが撮影した、前記光透過部材に映る前記表示部によって表示された前記画像の背景としての前記前方車両が、前記第１のカメラが撮影した、前記光透過部材に映る前記表示部によって表示された前記画像と重なると判断した場合に行う制御として前記画像の一部を消去する制御と、前記画像の全部又は一部の表示値を変更する制御と、前記画像の表示位置を変更する制御とを有し、前記画像を見る前記視認者の視点位置から見たときに前記前方車両が前記画像に重なると判断した場合、前記画像の一部を消去する制御、前記画像の全部又は一部の表示値を変更する制御、及び前記画像の表示位置を変更する制御のうちのいずれか一の制御を行う。

画像表示装置が表示する画像と、当該画像と同位置又は当該画像の近傍に存在する物体が視認者の視点位置から見て重なるときに視認者の視認性を向上させることができる。

本発明の一実施形態に係る自動車用ＨＵＤ装置２００（以下単にＨＵＤ装置２００という）が、フロントガラス３０２越しに運転者３００から見える自車両３０１の前方風景に重ねて表示する虚像の一例を示す正面図である。 当該実施形態に係るＨＵＤ装置２００を搭載した自動車の内部配置例を模式的に示す一部破断の模式側面図である。 図２のＨＵＤ装置２００の光学系２３０の構成例を模式的に示すブロック図である。 図２のＨＵＤ装置２００の制御系２５０の構成例を示すブロック図である。 図２のＨＵＤ装置２００及び周辺装置の概略配置例を示すブロック図である。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その１）である。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その２）である。 図４の制御系２５０により実行される画像表示変更処理の一例を示すフローチャートである。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その３）である。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その４）である。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その５）である。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その６）である。 運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図（その７）である。

以下に説明する本発明に係る実施形態は、例えば自車両前方に車両等の物体が存在する場合に当該物体とＨＵＤ装置２００が表示する画像とが視認者から見て重なるときに視認者の視認性を向上する。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付して重複する説明を省略する。

図１は本発明の一実施形態に係るＨＵＤ装置２００が、フロントガラス３０２越しに運転者３００から見える自車両３０１の前方風景に重ねて表示する虚像の一例を示す正面図である。図２は当該実施形態に係るＨＵＤ装置２００を搭載した自動車の内部配置例を模式的に示す一部破断の模式側面図である。図３は図２のＨＵＤ装置２００の光学系の構成例を模式的に示すブロック図である。なお、ＨＵＤ装置２００は画像表示装置の一例である。

図２において、本実施形態に係るＨＵＤ装置２００は、例えば、移動体としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内のＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、視認者である運転者３００に向かって照射される。これにより、運転者３００は、後述するルートナビゲーション画像等を虚像Ｇとして視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者３００に虚像Ｇを視認させるようにしてもよい。

フロントガラス３０２の上部に前方撮影用カメラ１１０及び運転者カメラ１５０が配置される。前方撮影用カメラ１１０は前方を撮影する。前方撮影用カメラ１１０が撮影する前方には、ＨＵＤ装置２００がフロントガラス３０２に表示する表示情報及びその背景が含まれる。すなわち前方撮影用カメラ１１０はフロントガラス３０２に映ったＨＵＤ装置２００が表示する表示情報を撮影するとともに、その背景をフロントガラス３０２越しに撮影する。前方撮影用カメラ１１０がフロントガラス３０２越しに撮影する背景とは、自車両３０１の前方環境（すなわち前方車両、路面等）である。運転者カメラ１５０は運転者３００の視点位置を検出するために運転者３００を撮影する。

本実施形態においては、運転者３００から虚像Ｇまでの距離が５ｍ以上になるようにＨＵＤ装置２００の光学系２３０等が設計されている。これに対し、従来の一般的な自動車用ＨＵＤ装置は、運転者から虚像までの距離が２ｍ程度であった。運転者は、通常、車両前方の無限遠点を注視しているか、あるいは数十ｍ先の先行車を注視している。このような遠方に焦点を合わせている運転者が２ｍ先の虚像を視認しようとする場合、焦点距離が大きく変化する。その結果、運転者は眼球の水晶体を大きく動かす。そのため、虚像に焦点を合わせるまでの焦点調整時間が長くなり、虚像の内容を認識するまでに時間がかかるうえ、運転者の眼球が疲労しやすいという不具合が生じる可能性が考えられる。また、虚像の内容に運転者が気付きにくく、虚像によって情報を運転者へ適切に提供することが困難となる可能性が考えられる。

他方、本実施形態のように虚像Ｇまでの距離が５ｍ以上であれば、従来よりも運転者３００が眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を早期に認識できるようになる。また運転者３００の眼球の疲労を軽減することができる。更には、虚像Ｇの内容に運転者３００が気付きやすくなり、虚像Ｇによって運転者３００へ情報を適切に提供することが容易になる。虚像Ｇまでの距離が５ｍ以上であれば運転者３００は眼球をほとんど輻輳運動させることなく虚像Ｇに焦点を合わせることができる。したがって、運動視差を利用して距離感（知覚距離の変化）や奥行き感（知覚距離の違い）を知覚させる効果が眼球の輻輳運動によって薄まってしまうことが抑制される。よって、画像の距離感や奥行き感を利用した運転者３００の情報知覚効果を有効に発揮させることができる。

図３に示すＨＵＤ装置２００の光学系２３０は、赤色、緑色及び青色のレーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂと、各レーザ光源に対して設けられるコリメータレンズ２０２，２０３及び２０４と、２つのダイクロイックミラー２０５及び２０６とを含む。光学系２３０は更に、光量調整部２０７と、光走査部としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とを含む。また光源ユニット２２０では、レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂ、コリメータレンズ２０２，２０３及び２０４、並びにダイクロイックミラー２０５及び２０６が、光学ハウジングによってユニット化されている。

レーザ光源２０１Ｒ，２０１Ｇ及び２０１ＢとしてＬＤ（半導体レーザ素子）を利用することができる。赤色レーザ光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザ光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザ光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

本実施形態に係るＨＵＤ装置２００では、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂから発せられる各色のレーザ光は、それぞれ、コリメータレンズ２０２，２０３及び２０４で略平行光とされた後、２つのダイクロイックミラー２０５及び２０６によって合成される。合成されたレーザ光は光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって偏向されることにより、自由曲面ミラー２０９上を二次元的に走査する。光走査装置２０８によって偏向されることにより自由曲面ミラー２０９上を二次元的に走査する走査光Ｌ'は自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、マイクロレンズアレイ２１０に中間像Ｇ'を描画する。

なお、本実施形態では、中間像Ｇ'の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材としてマイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ'の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。ただし、大きな虚像Ｇを高い輝度で表示させるには、本実施形態のようにレーザ走査方式が好ましい。

また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）等を利用した方式では、虚像Ｇが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両３０１の前方風景の視認性が低下する可能性が考えられる。これに対し、本実施形態のようにレーザ走査方式によれば、虚像Ｇの表示領域内の非画像部分については、レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂを消灯させることにより当該非画像部分に光が照射されることを完全に無くすことができる。よって、当該非画像部分を通じた自車両３０１の前方風景の視認性がＨＵＤ装置２００から照射される光によって低下する事態を回避でき、前方風景の視認性をより向上させることができる。

更にＨＵＤ装置２００は、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、ＨＵＤ装置２００が表示する虚像Ｇに含まれる各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御を行う。このようにＨＵＤ装置２００が表示する虚像Ｇに含まれる一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザ走査方式が好適である。液晶ディスプレイや蛍光表示管等を利用した方式では、ＨＵＤ装置２００が表示する虚像に含まれる警告画像以外の画像についても輝度が高まってしまう可能性が考えられる。そのため、液晶ディスプレイや蛍光表示管等を利用した方式では、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られない可能性が考えられるからである。

光走査装置２０８は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）等の、公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザ光を偏向して自由曲面ミラー２０９を二次元的に走査（ラスタスキャン）する。ミラーの駆動制御は、レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂの発光タイミングに同期して行われる。なお光走査装置２０８は上述した構成に限らず、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーを含むミラー系の光走査装置であってもよい。

図４は図２のＨＵＤ装置２００の制御系２５０の構成例を示すブロック図である。図４に示す如く、ＨＵＤ装置２００の制御系２５０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２５１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５２、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２５３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２５４、インタフェース（以下、Ｉ／Ｆという）２５５、バスライン２５６、ＬＤドライバ２５７及びＭＥＭＳコントローラ２５８を含む。ＦＰＧＡ２５１は、ＬＤドライバ２５７を用いて光源ユニット２２０のレーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂの動作を制御し、ＭＥＭＳコントローラ２５８を用いて光走査装置２０８のＭＥＭＳ２０８ａの動作を制御する。ＣＰＵ２５２はＨＵＤ装置２００の各機能を実現する。ＲＯＭ２５３は、ＣＰＵ２５２がＨＵＤ装置２００の各機能を実現するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。Ｉ／Ｆ２５５は、外部コントローラ等と通信するためのインタフェースであり、例えば、自車両３０１のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、車両ナビゲーション装置４００、各種センサ装置５００等に接続される。

また、Ｉ／Ｆ２５５には、自車両３０１の前方を撮影する前方撮影用カメラ１１０、すなわちフロントガラス３０２に映る、ＨＵＤ装置２００が表示する表示情報を撮影するとともに、その背景をフロントガラス３０２越しに撮影する前方撮影用カメラ１１０が接続される。Ｉ／Ｆ２５５には更に、運転者３００の視点位置を検出するために運転者カメラ１５０が接続される。制御系２５０は検出された運転者３００の視点位置に基づいて、前方撮影用カメラ１１０により撮影される表示情報及びその背景の画像に対し画像処理を施すことにより、当該画像を運転者３００の視点位置から見たときの画像に変換する。制御系２５０は例えば運転者カメラ１５０が撮影した運転者３００の頭部の画像を画像解析することによって運転者３００の視点位置を検出する。

図５は図２のＨＵＤ装置２００及び周辺装置の概略構成例を示すブロック図である。本実施形態においては、虚像Ｇによって運転者３００へ提供される運転者提供情報を取得する情報取得部として車両ナビゲーション装置４００、センサ装置５００等が設けられている。ＨＵＤ装置２００は、主に、表示部の一例である光学系２３０と、制御部の一例である制御系２５０とを含む。

本実施形態に係る車両ナビゲーション装置４００としては、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇとして表示させるルートナビゲーション画像を生成するために用いられる情報が出力され、この情報は制御系２５０に入力される。ルートナビゲーション画像には、例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向等の情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から制御系２５０に入力される。その結果、制御系２５０の制御の下、ＨＵＤ装置２００が、走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３等のルートナビゲーション画像を虚像Ｇとして上段画像表示領域Ａに表示する。

また、図１に示した画像例では、ＨＵＤ装置２００が下段画像表示領域Ｂに、道路の固有情報（道路名、制限速度等）を示す画像を虚像Ｇとして表示する。この道路の固有情報も、車両ナビゲーション装置４００から制御系２５０に入力される。その結果、制御系２５０の制御の下、ＨＵＤ装置２００が、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を虚像として下段画像表示領域Ｂに表示する。

図５のセンサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況等を示す各種情報を検出するための１又は２以上のセンサを含む。センサ装置５００からは、虚像Ｇとして表示させる画像を生成するために用いられるセンシング情報が出力され、このセンシング情報は制御系２５０に入力される。例えば、図１に示した画像例では、自車両３０１の車速を示す車速表示画像７０４（図１の例では「８３ｋｍ／ｈ」という文字画像）を、ＨＵＤ装置２００が虚像として下段画像表示領域Ｂに表示する。すなわち、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から制御系２５０に入力され、制御系２５０の制御の下、ＨＵＤ装置２００が当該車速を示す文字画像を虚像Ｇとして下段画像表示領域Ｂに表示する。

センサ装置５００は、自車両３０１の車速を検出するセンサ以外には、例えば、（１）自車両３０１の周囲（前方、側方又は後方）に存在する他車両、歩行者又は建造物（ガードレールや電柱等）との距離を検出するレーザレーダ装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、（２）運転者３００の運転動作（ブレーキ操作、アクセル開閉度等）を検出するためのセンサ、（３）自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、（４）エンジンやバッテリー等の各種車載機器の状態を検出するセンサ等を含んでよい。センサ装置５００が検出した情報を制御系２５０へ送ることで、ＨＵＤ装置２００が情報を虚像Ｇとして表示して運転者３００へ提供することができる。

次に、ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。本実施形態におけるＨＵＤ装置２００において、虚像Ｇによって運転者３００へ提供される運転者提供情報は、運転者３００にとって有用な情報であればどのような情報であってもよい。本実施形態では、便宜上、運転者提供情報を受動情報と能動情報とに大別する。

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者３００によって受動的に認知される情報である。したがって、ＨＵＤ装置２００が有する設定タイミングで運転者３００へ提供される情報は受動情報に含まれる。また、情報が提供されるタイミングと提供する情報の内容との間に一定の関係性を有する情報も受動情報に含まれる。受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報等が挙げられる。運転時の安全性に関わる情報として、自車両３０１と先行車両３５０との車間距離を示す情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報等の警告情報あるいは注意喚起情報等）等がある。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供される情報と同様の情報であってよい。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報等が挙げられる。進路変更操作指示情報として、交差点等においていずれの進路をとるべきかを指定する進路指定を行う進路指定情報（進路指定画像７２１）、進路変更操作を行う交差点等までの残り距離を示す情報（残り距離画像７２２）、交差点等の名称を示す情報（交差点等名称画像７２３）等がある。

能動情報とは、運転者自らが決めるタイミングで運転者３００によって能動的に認知される情報である。能動情報は、運転者３００の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低いか又はそのような関係性が無いような情報は能動情報に含まれる。能動情報は、運転者３００の希望するタイミングで運転者３００が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報等が挙げられる。道路の固有情報としては、例えば、その道路名を示す情報（道路名表示画像７０１）、その道路の制限速度等の規制内容を示す情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）等、当該道路に関わる情報として運転者３００にとって有用なものが挙げられる。

本実施形態では、このように大別される受動情報と能動情報とを、虚像Ｇを表示可能なそれぞれ対応する表示領域に表示する。具体的には、本実施形態では、ＨＵＤ装置２００が虚像を表示する領域として上下方向に並んだ２つの表示領域を設定する。これらのうちの上段画像表示領域Ａには主に受動情報に対応する受動情報画像を表示し、下段画像表示領域Ｂには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段画像表示領域Ａに表示させる場合には、上段画像表示領域Ａに表示される受動情報画像の視認性を優先する態様で能動情報画像を表示する。

また、本実施形態においては、ＨＵＤ装置２００が表示する虚像Ｇとして、立体視を用いて表現された立体視画像を用いる。具体的には、ＨＵＤ装置２００が虚像を表示する上段画像表示領域Ａに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いる。

詳しくは、車間距離提示画像７１２に含まれる５本の横線の長さを上側に向かうほど短くなるように表示する。すなわち車間距離提示画像７１２を、１つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、本実施形態では、その消失点が運転者３００の注視点近傍に定まるように車間距離提示画像７１２が形成される。その結果、運転中の運転者３００に車間距離提示画像７１２の奥行き感を知覚させやすい。また、本実施形態では、更に、遠近法画像としての車間距離提示画像７１２を、横線の太さが上側に向かうほど細くなり、あるいは横線の輝度が上側に向かうほど低くなる態様で表示する。その結果、運転中の運転者３００は、車間距離提示画像７１２の奥行き感を更に知覚しやすくなる。

図６Ａ及び図６Ｂはそれぞれ、運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図である。上述したように、（自車両３０１の左右方向、前方向、後方向、及び上下方向に動く可能性がある）運転者の視点で見ると、ＨＵＤ装置２００が虚像を表示する画像表示領域１００は、自車両３０１が走行中の路面に重なった状態で視認される。このとき、前方車両１０１の位置によっては、図６Ｂに示すように、画像表示領域１００が前方車両１０１と重なる場合がある。その場合、画像表示領域１００に表示された画像及び前方車両１０１に対する視認性が大幅に低下する場合が考えられる。

図７は図４の制御系２５０により実行される画像表示変更処理例を示すフローチャートである。本実施形態は、運転者３００から見たときにＨＵＤ装置２００が画像表示領域１００に表示する画像が前方車両１０１と重なる場合に行う画像の制御に関し、以下に述べる３種の制御モード（１）、（２）及び（３）を有する。
（１）一部消去モード：画像表示領域１００に表示する画像の一部を消去する制御モード
（２）画像の表示値制御モード：画像表示領域１００に表示する画像の全部又は一部の表示値（すなわち輝度、Ｒ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値及びＢ（Ｂｌｕｅ）値間の比率等による色相、及びアルファ値のうちの少なくとも一つ）を変更する制御モード
（３）画像配置変更モード：画像表示領域１００に表示されている画像の配置を変更する制御モード
なお、アルファ値とは、表示されている画像の透明度を示す表示値である。

図７のステップＳ１において制御系２５０は前方撮影用カメラ１１０により自車両３０１の前方環境を撮影することにより前方車両１０１の画像を得る。次いで、ステップＳ２において制御系２５０は運転者カメラ１５０により運転者３００の頭部を撮影して運転者３００の視点位置を得る。そして、ステップＳ３において制御系２５０はＨＵＤ装置２００によって表示情報を表示する。次にステップＳ４において制御系２５０は運転者の視点位置から見たときにＨＵＤ装置２００が表示している表示情報の画像に前方車両１０１が重なるか否かを判断する。

より具体的には、ステップＳ４にて制御系２５０は、ステップＳ３でＨＵＤ装置２００によってフロントガラス３０２上に映し出され前方撮影用カメラ１１０が撮影した表示情報及び、ステップＳ１で前方撮影用カメラ１１０が撮影した前方車両１０１を含む画像に対し、ステップＳ２で得た運転者３００の視点位置に基づいて画像処理を施す。このようにして制御系２５０は、画像処理により、フロントガラス３０２上に映った表示情報の画像及びフロントガラス３０２越しに見えるその背景を含む画像を、運転者３００の視点位置から見たときの画像に変換する。その結果、制御系２５０は、運転者の視点位置から見たときに表示情報の画像に前方車両１０１が重なるか否かを判断することができる。なお、ここでは説明の便宜上、フロントガラス３０２上に映るＨＵＤ装置２００による表示画像と重なるか否かを判断する対象として前方車両１０１を想定しているが、当該対象は前方車両１０１に限られない。当該対象としては、「前方車両１０１」の代わりに、前方車両１０１を含む、フロントガラス３０２上に映るＨＵＤ装置２００による表示画像と重なることによって運転者３００の視認性が影響を受ける物体全般とすることが出来る。

なお、運転者３００の視点位置から見たときの画像を得る方法として、例えば以下の方法が考えられる。例えば前方撮影用カメラ１１０が２台のカメラを含むものとし、２台のカメラによって前方車両１０１を撮影し、三角測量の原理により前方車両１０１の（自車両３０１に対する）位置を得る。次に、当該前方車両１０１の位置と、検出した運転者３００の視点位置とに基づき、運転者３００の視点から見たときの前方車両１０１のフロントガラス３０２上の位置を得る。次に、ＨＵＤ装置２００によって表示され、フロントガラス３０２に映った表示情報の画像を撮影して得た画像に基づいて、当該画像がフロントガラス３０２で反射された反射位置と反射角度とを得る。前方撮影用カメラ１１０とフロントガラス３０２との位置関係は既知であるため、撮影されたフロントガラス３０２上の表示情報の画像の位置に基づいて上記反射位置と反射角度とを得ることができる。次に、当該反射位置と反射角度とに基づいて、当該画像のＨＵＤ装置２００内の出射位置を得る。ＨＵＤ装置２００とフロントガラス３０２との位置関係は既知であるため、反射位置と反射角度に基づいて画像のＨＵＤ装置２００内の出射位置を得ることができる。次に、当該画像のＨＵＤ装置２００内の出射位置に基づき、運転者の視点から見たときのフロントガラス３０２上の表示情報の画像の位置を得る。このようにして運転者３００の視点から見た画像に含まれる、前方車両１０１及び表示情報の画像の、フロントガラス３０２上の相互位置関係を得ることにより、運転者３００の視点から見たときの、前方車両１０１及び表示情報の画像を含む画像を得ることが出来る。

ステップＳ４の判断結果がＹＥＳのとき制御系２５０はステップＳ５に進む一方、ＮＯのときはステップＳ１に戻る。

ステップＳ５において制御系２５０は、上記「一部消去モード」にあるか否かを判断する。制御系２５０はステップＳ５の判断結果がＹＥＳのときはステップＳ６に進む一方、ステップＳ５の判断結果がＮＯのときはステップＳ７に進む。

ステップＳ６において制御系２５０は、ＨＵＤ装置２００が表示している表示情報の一部を消してステップＳ１に戻る。

次にステップＳ７において制御系２５０は上記「画像の表示値制御モード」にあるか否かを判断する。制御系２５０はステップＳ７の判断結果がＹＥＳのときはステップＳ８に進む一方、ステップＳ７の判断結果がＮＯのときはステップＳ９に進む。

ステップＳ８で制御系２５０は、ＨＵＤ装置２００が表示している画像の表示値（輝度、Ｒ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値及びＢ（Ｂｌｕｅ）値間の比率等による色相、アルファ値のうちの少なくとも一つ）を変更してステップＳ１に戻る。

次にステップＳ９において制御系２５０は上記「画像配置変更モード」にあるか否かを判断する。制御系２５０はステップＳ９の判断結果がＹＥＳのときはステップＳ１０に進む一方、ステップＳ９の判断結果がＮＯのときはステップＳ１に戻る。

ステップＳ１０で制御系２５０は、ＨＵＤ装置２００が表示している画像の配置を変更してステップＳ１に戻る。

本実施形態において、ＨＵＤ装置２００が表示する表示情報としては、例えば以下の３つがある。
（１）速度表示
（２）ナビゲーション表示（例えば、「２ｋｍ先左折」）
（３）例えば前方車両と近接した旨の警告表示
図８Ａは運転者３００の視点から見たときのＨＵＤ装置２００による表示例を自車両３０１の前方環境とともに示す正面図である。図８Ａの例では、一部消去モードを用いて、画像表示領域１００の表示情報の一部（例えば、図６Ａでは速度表示１０３の上部に表示されているナビゲーション表示１０２（重要度が低いため））を消して表示している。

図８Ｂは運転者３００の視点から見たときのＨＵＤ装置２００による他の表示例を自車両３０１の前方環境とともに示す正面図である。図８Ｂの例では、画像配置変更モードを用いて、前方車両１０１と重ならないように、ナビゲーション表示１０２を速度表示１０３の下方にずらして表示している。なお、上記した図６Ａの例に示されるように、本来ナビゲーション表示１０２は速度表示１０３の上方に表示される。

図９Ａ、図９Ｂ及び図９Ｃは、それぞれ運転者３００の視点から見たときのＨＵＤ装置２００による更に他の表示例を自車両３０１の前方環境とともに示す正面図である。

画像表示領域１００に含まれる自車両３０１の前方環境の領域は運転者の視点位置に依存して変化する。図９Ｂは、運転者３００の視点位置から見たときに、例えば前方車両１０１が、画像表示領域１００に対し、左右方向のほぼ中心に見える場合の一例である。また、図９Ａは、運転者３００の視点位置から見たときに、例えば前方車両１０１が、画像表示領域１００に対し、左向にずれて見える場合の一例である。更に、図９Ｃは、運転者３００の視点位置から見たときに、例えば前方車両１０１が、画像表示領域１００に対し、右左向にずれて見える場合の一例である。

このように、前方環境にある前方車両１０１等の物体と画像表示領域１００との重なり具合は運転者３００の視点位置によって異なる。よって、制御系２５０によって前方環境にある前方車両１０１等の物体と画像表示領域１００との重なり具合を判断する際に運転者３００の視点位置を考慮することで、煩わしさをより低減させた画像表示を実現することができる。

次に、上述した実施形態の、特許文献１の開示技術との相違点について述べる。

特許文献１には、運転者の視界を妨げることなく多くの情報を表示可能な車両用情報表示システムを提供することを目的として、車両前方にある物体と映像とが重なった際に、映像の透明度を調整し、かつ映像の投影位置を変更するシステムが開示されている。しかしながこのように映像の透明度及び投影位置を制御するだけでは、視認性の向上、情報の理解に要する時間の短縮、誤認識や煩わしさの防止等の実現が不十分な場合が考えられる。更に運転者の視点位置変化を考慮した場合、特許文献１の開示技術は、運転者の運転状態に対するロバスト性が十分とは言えない場合が考えられる。本実施形態によれば、フロントガラス３０２に表示されている画像とフロントガラス３０２越しに見える前方の物体とが運転者から見て重なる際に、重なり具合に応じてフロントガラス３０２上の画像の表示又は非表示の別、当該画像の輝度、色相、透明度、画像の配置等を制御する。その結果、フロントガラス３０２に表示される画像及びフロントガラス３０２越しに見える前方の物体それぞれに対する視認性を効果的に向上させることができる。

以上の実施形態においては、自動車用ＨＵＤ装置２００について説明しているが、本発明はこれに限らず、その他の車両又はその他の用途のＨＵＤ装置、もしくはディスプレイ等の画像表示装置に適用することができる。その場合、運転者３００は視認者となり、前方車両１０１等は、画像表示領域１００と同位置又はその近傍にある物体となる。

以上の実施形態においては、ＲＧＢ値で色情報値を表しているが、代わりに明度座標等の他の色情報値を用いてもよい。

以上の実施形態においては、図７の画像表示変更処理においては、一部消去モード、画像の表示値制御モード及び画像配置変更モードを用いているが、本発明はこれに限られず、これらうちの少なくとも１つの制御モードを用いてもよい。またその他の態様で画像表示の変更を行ってもよい。

以上の実施形態においては、運転者３００である視認者の視点位置から見たときに前方車両１０１等が、フロントガラス３０２上に表示されている画像と重なるか否かを判断している。なお、視点位置の検出については、上述した運転者カメラ１５０を用いる方法に限られない。視認者の頭部の位置を検出して視点位置を推定することにより視点位置を検出してもよい。また、視点位置については、当該ＨＵＤ装置２００を設置したときに、図３に示すように、光学系２３０の設計値によって予め決められた視認者の視点位置を用いてもよい。

以上、画像表示装置及び画像表示方法を実施形態により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

本国際出願は２０１６年２月８日に出願した日本国特許出願第２０１６−０２１７３７号に基づく優先権を主張するものであり、日本国特許出願第２０１６−０２１７３７号の全内容を本国際出願に援用する。

１００…画像表示領域
１０１…前方車両
１１０…前方撮影用カメラ
１５０…運転者カメラ
２００…自動車用ＨＵＤ装置
２１１…投射ミラー
２２０…光源ユニット
２３０…光学系
２５０…制御系
２５１…ＦＰＧＡ
２５２…ＣＰＵ
２５３…ＲＯＭ
２５４…ＲＡＭ
３００…運転者
３０１…自車両
３０２…フロントガラス
４００…車両ナビゲーション装置
５００…センサ装置
７１２…車間距離提示画像
Ａ…上段画像表示領域
Ｂ…下段画像表示領域

特許第４６９２５９５号公報

Claims (4)

1. 虚像としての画像を表示する表示部と、
   前記画像と同位置又は前記画像の近傍にある前方車両を撮影する第１のカメラと、
   視認者の頭部の画像を撮影する第２のカメラと、
   前記第２のカメラが撮影した前記視認者の頭部の画像を解析して前記視認者の視点位置を検出する制御部と、を備え、
   前記第１のカメラは、光透過部材に映る前記表示部によって表示された前記画像を撮影するとともに、前記光透過部材に映る前記表示部によって表示された前記画像の背景を前記光透過部材越しに撮影するカメラであり、
   前記制御部は、前記制御部が検出した、前記画像を見る前記視認者の視点位置から見たときに、前記第１のカメラが撮影した、前記光透過部材に映る前記表示部によって表示された前記画像の背景としての前記前方車両が、前記第１のカメラが撮影した、前記光透過部材に映る前記表示部によって表示された前記画像と重なると判断した場合に行う制御として、前記画像の一部を消去する制御と、前記画像の全部又は一部の表示値を変更する制御と、前記画像の表示位置を変更する制御とを有し、前記画像を見る前記視認者の視点位置から見たときに前記前方車両が前記画像に重なると判断した場合、前記画像の一部を消去する制御、前記画像の全部又は一部の表示値を変更する制御、及び前記画像の表示位置を変更する制御のうちのいずれか一の制御を行う、画像表示装置。
2. 前記表示値は、輝度、色相、及びアルファ値のうちの少なくとも一つである、請求項１に記載の画像表示装置。
3. 前記画像表示装置は、車両のフロントガラス又はコンバイナに前記画像を表示するヘッドアップディスプレイである、請求項１又は２に記載の画像表示装置。
4. 虚像としての画像を表示する表示部を含む画像表示装置が実行する画像表示方法であって、
   前記画像と同位置又は前記画像の近傍にある前方車両を第１のカメラで撮影するステップであって、当該第１のカメラで、光透過部材に映る前記表示部によって表示された前記画像を撮影するとともに、前記光透過部材に映る前記表示部によって表示された前記画像の背景を前記光透過部材越しに撮影するステップと、
   視認者の頭部の画像を第２のカメラで撮影するステップと、
   前記第２のカメラで撮影した前記視認者の頭部の画像を解析して前記視認者の視点位置を検出するステップと、
   前記ステップで検出した、前記画像を見る前記視認者の視点位置から見たときに、前記第１のカメラが撮影した、前記光透過部材に映る前記表示部によって表示された前記画像の背景としての前記前方車両が、前記第１のカメラが撮影した、前記光透過部材に映る前記表示部によって表示された前記画像と重なると判断した場合に行う制御として、前記画像の一部を消去する制御と、前記画像の全部又は一部の表示値を変更する制御と、前記画像の表示位置を変更する制御とを有し、前記画像を見る前記視認者の視点位置から見たときに前記前方車両が前記画像に重なると判断した場合に、前記画像の一部を消去する制御、前記画像の全部又は一部の表示値を変更する制御、及び前記画像の表示位置を変更する制御のうちのいずれか一の制御を行うステップと、を含む画像表示方法。

Images