JP2019105678A - 表示装置、及び画像表示方法 - Google Patents

Abstract

【課題】端末表示装置の画面に表示される画像を拡張現実で表示する際の利便性を向上させることができる表示装置を提供する。【解決手段】表示装置２０は、外部の端末表示装置４０の画面４１Ａに表示される画像Ｇをユーザーに視認されるように拡張現実で表示する。表示装置２０は制御部とディスプレー２１と表示制御部とを備える。制御部は、画像Ｇと画面４１Ａの画面領域Ｒ１の大きさとに基づいて、画像Ｇに対応する拡張現実画像ＡＧを生成する。ディスプレー２１は拡張現実画像ＡＧを表示する。表示制御部はディスプレー２１による表示を制御する。制御部は、画像Ｇの全体領域Ｇ１の大きさが画面領域Ｒ１の大きさを超える場合に、超過領域Ｇ３を含む拡張現実画像ＡＧを生成する。超過領域Ｇ３は、全体領域Ｇ１のうち画面領域Ｒ１の大きさを超える部分を示す。表示制御部は、画面領域Ｒ１の外側に超過領域Ｇ３を表示するようにディスプレー２１を制御する。【選択図】図１

Description

本発明は、表示装置、及び画像表示方法に関する。

モバイル装置の画面で画像を閲覧する際に、仮想画像を表示する画像表示システムが知られている。このような画像表示システムとして、特許文献１に記載の画像表示システムは、ユーザーの目とモバイル装置の画面との間の距離に応じて、画面から画面の背後に向けての見かけの距離の位置に仮想画像を表示する。特許文献１に記載の画像表示システムは、目に対してモバイル装置を近接させると、仮想画像をより広範囲に表示する。

特表２０１４−５２９０９４号公報

しかしながら、特許文献１に記載の画像形成装置では、表示される仮想画像の範囲を変更する制御は、モバイル装置の移動操作に依存するため煩雑である。従って、モバイル装置の画面に表示される画像を拡張現実で表示する際の利便性が低かった。

本発明は上記課題に鑑みてなされたものであり、端末表示装置の画面に表示される画像を拡張現実で表示する際の利便性を向上させることができる表示装置及び画像表示方法を提供することを目的とする。

本発明に係る表示装置は、外部の端末表示装置の画面に表示される画像をユーザーに視認されるように拡張現実で表示する。前記表示装置は、制御部と、ディスプレーと、表示制御部とを備える。前記制御部は、前記画像と、前記画面の画面領域の大きさとに基づいて、前記画像に対応する拡張現実画像を生成する。前記ディスプレーは、前記拡張現実画像を表示する。前記表示制御部は、前記ディスプレーによる表示を制御する。前記制御部は、前記画像の全体領域の大きさが前記画面領域の大きさを超える場合に、超過領域を含む前記拡張現実画像を生成する。前記超過領域は、前記全体領域のうち前記画面領域の大きさを超える部分を示す。前記表示制御部は、前記画面領域の外側に前記超過領域を表示するように前記ディスプレーを制御する。

本発明に係る画像表示方法は、外部の端末表示装置の画面に表示される画像をユーザーに視認されるように拡張現実で表示する。前記画像表示方法は、制御工程と、表示工程と、表示制御工程とを包含する。前記制御工程は、前記画像と、前記画面の画面領域の大きさとに基づいて、前記画像に対応する拡張現実画像を生成する。前記表示工程は、前記拡張現実画像を表示する。前記表示制御工程は、前記表示工程における表示を制御する。前記制御工程において、前記画像の全体領域の大きさが前記画面領域の大きさを超える場合に、超過領域を含む前記拡張現実画像を生成する。前記超過領域は、前記全体領域のうち前記画面領域の大きさを超える部分を示す。前記表示制御工程において、前記画面領域の外側に前記超過領域を表示するように前記表示工程における表示を制御する。

本発明によれば、端末表示装置の画面に表示される画像を拡張現実で表示する際の利便性を向上させることができる。

（ａ）は、本発明の実施形態に係る表示システムを示す図であり、（ｂ）は、本発明の実施形態に係る表示装置において表示される画像を示す図である。 本発明の実施形態に係る表示装置において表示される画像を示す図である。 本発明の実施形態に係る表示装置を示す図である。 本発明の実施形態に係る表示装置を示す構成図である。 本発明の実施形態に係る端末表示装置を示す構成図である。 （ａ）〜（ｃ）は、本発明の実施形態に係る表示装置において表示される画像を示す図である。 （ａ）及び（ｂ）は、本発明の実施形態に係る表示装置において表示される画像を示す図である。 （ａ）及び（ｂ）は、本発明の実施形態に係る表示装置において表示される画像を示す図である。 本発明の実施形態に係る表示装置において表示される画像を示す図である。 （ａ）及び（ｂ）は、本発明の実施形態に係る表示装置において表示される画像を示す図である。 本発明の実施形態に係る表示装置が実行する、表示処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

図１（ａ）及び（ｂ）と、図２とを参照して、本実施形態に係る表示システム１０の全体構成を説明する。図１（ａ）は、表示システム１０を示す図である。図１（ｂ）及び図２は、表示装置２０において表示される画像を示す図である。

図１（ａ）及び（ｂ）に示すように、表示システム１０は、表示装置２０と、端末表示装置４０とを備える。表示装置２０は、例えば、光学透過式のヘッドマウントディスプレー又はスマートフォンである。なお、本明細書では、表示装置２０がヘッドマウントディスプレーである実施形態について説明する。端末表示装置４０は、例えば、スマートフォン又はタブレット端末装置である。また、端末表示装置４０は、画像形成装置（例えば、複合機）が備える表示装置（例えば、操作画面を含むタッチパネル装置）であってもよい。なお、本明細書では、端末表示装置４０がスマートフォンである実施形態について説明する。端末表示装置４０は、「外部の端末表示装置」に相当する。表示装置２０は、端末表示装置４０との間で無線通信を行うことができる。表示システム１０において、表示装置２０は、端末表示装置４０の画面４１Ａに表示される画像Ｇをユーザーが視認できるように拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で表示する。画像Ｇの全体領域Ｇ１のうち少なくとも一部の領域は、図１（ａ）に示す端末表示装置４０の現実の画面４１Ａの範囲内に表示されている。全体領域Ｇ１は、複数の部分領域で構成される。複数の部分領域は、現実の画面４１Ａの画面サイズで制約されることによって一目で視認できない部分領域を含み得る。画面４１Ａは、例えば、矩形状である。

表示装置２０は、制御部と、表示制御部と、ディスプレー２１とを備える。制御部は、画像Ｇと、画面４１Ａの画面領域Ｒ１の大きさとに基づいて、画像Ｇに対応する拡張現実画像ＡＧを生成する。拡張現実画像ＡＧは、画像Ｇの全体領域Ｇ１を示す画像を含む。拡張現実画像ＡＧは、端末表示装置４０を示す端末画像４０Ｇを更に含んでいてもよい。制御部は、画像Ｇの全体領域Ｇ１の大きさが画面領域Ｒ１の大きさを超える場合に、超過領域Ｇ３を含む拡張現実画像ＡＧを生成する。超過領域Ｇ３は、全体領域Ｇ１のうち画面領域Ｒ１の大きさを超える部分領域を示す。なお、全体領域Ｇ１のうち画面領域Ｒ１の大きさを超えない部分領域を、以下、「未超過領域Ｇ２」と記載することがある。

例えば、図１（ｂ）は、画像Ｇがプルダウンメニュー画像である実施形態を示す。このような実施形態において、ディスプレー２１は、画面領域Ｒ１に対して、例えば、第１方向Ｄ１の下流側に超過領域Ｇ３を表示できる。第１方向Ｄ１は、表示装置２０を装着するユーザーの視野において、画面４１Ａの長辺に沿って画面４１Ａの上端から下端に向かう方向を示す。

さらに、図２は、例えば、画像Ｇが料理メニュー名と料理写真とを組み合わせた画像である実施形態を示す。このような実施形態において、ディスプレー２１は、画面領域Ｒ１に対して、例えば、第２方向Ｄ２の下流側に超過領域Ｇ３を表示できる。第２方向Ｄ２は、表示装置２０を装着するユーザーの視野において、画面４１Ａの短辺に沿って画面４１Ａの左端から右端に向かう方向を示す。以下、本明細書で記載する「上下左右」は、ユーザーの視野における上下左右を示す。

図１（ｂ）と図２とに示すように、表示制御部は、ディスプレー２１による表示を制御する。表示制御部は、超過領域Ｇ３を含む拡張現実画像ＡＧが制御部によって生成されると、画面領域Ｒ１の外側に超過領域Ｇ３を表示するようにディスプレー２１を制御する。ディスプレー２１は、拡張現実画像ＡＧを表示する。このようにして、表示制御部は、超過領域Ｇ３に応じて拡張現実画像ＡＧを表示する領域を拡張する。表示装置２０を装着するユーザーは、ディスプレー２１に表示される拡張現実画像ＡＧを目視する。従って、超過領域Ｇ３を含む全体領域Ｇ１を、端末表示装置４０の現実の画面４１Ａの範囲内で一目で視認できない場合であっても、ユーザーは、特段の操作を要さずにディスプレー２１で全体領域Ｇ１を視認できる。その結果、端末表示装置４０の画面４１Ａに表示される画像Ｇを拡張現実で表示する際の利便性を向上させることができる。

引き続き図１と図２とを参照しつつ、更に図３と図４とを参照して、表示装置２０の構成の詳細について説明する。図３は、表示装置２０を示す図である。詳細には、図３は、ユーザーの顔面側（眼球側）から見た表示装置２０を示している。換言すると、図３は、表示装置２０の内側を示している。

図３に示すように、本実施形態における表示装置２０は双眼型である。従って表示装置２０は、ユーザーの左右の目（眼球）の前方にそれぞれ配置される２つのディスプレー２１（表示部）を備える。２つのディスプレー２１は、同じ画像を表示する。ディスプレー２１は、例えば、液晶ディスプレーや有機エレクトロルミネッセンス（有機ＥＬ）ディスプレーのような表示素子からなる。ディスプレー２１は、ユーザーの視野を示す視野領域を有する。視野領域は、予めディスプレー２１に設定されている。なお、視野領域の詳細については、図８〜図１０を参照して後述する。

図４は、表示装置２０を示す構成図である。図４に示すように、表示装置２０は、ディスプレー２１と、表示制御部２２と、制御部２６とに加えて、無線通信インターフェイス（Ｉ／Ｆ）２３と、位置検出部２４と、向き検出部２５と、記憶部２７とを更に備える。

無線通信インターフェイス２３は、端末表示装置４０との間の無線通信に使用される。無線通信方式は特に限定されず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信方式が採用され得る。無線通信インターフェイス２３は、無線通信で端末表示装置４０と接続されると、端末表示装置４０へ情報要求信号を送信する。情報要求信号は、端末情報と画像情報とを要求する信号を含む。画像情報は、画像Ｇを示す情報である。端末情報は、端末表示装置４０の属性（例えば、機器の種別、画面４１Ａのサイズ）を示す情報である。無線通信インターフェイス２３は、端末表示装置４０から端末情報と画像情報とを受信する。また、無線通信インターフェイス２３は、端末表示装置４０から送信される接触位置情報を受信する。接触位置情報は、画面４１Ａで検出される接触位置を示す情報である。接触位置の詳細については、図５〜図７を参照して後述する。

表示制御部２２は、制御部２６によって制御されて、ディスプレー２１に所定の画像を表示させる。具体的には、表示制御部２２は、例えば、ディスプレー２１を駆動する駆動回路である。表示制御部２２は、端末表示装置４０から送信される画像情報と端末情報とに基づいて、拡張現実画像ＡＧを視野領域で表示するようにディスプレー２１を制御する。詳細には、表示制御部２２は、画像Ｇの全体領域Ｇ１と端末画像４０Ｇとを重畳して表示するようにディスプレー２１を制御する。例えば、図１（ｂ）と図２とに示すように、表示制御部２２は、画面４１Ａの形状に未超過領域Ｇ２の配置を合わせるように、端末画像４０Ｇの前面に全体領域Ｇ１を重畳してディスプレー２１に表示させる。

位置検出部２４は、表示装置２０の現在位置を検出する。換言すると、位置検出部２４は、表示装置２０を装着したユーザーの現在位置を検出する。位置検出部２４は、例えば、ＧＰＳ機能を有する。

向き検出部２５は、表示装置２０の向きを検出する。換言すると、向き検出部２５は、表示装置２０を装着したユーザーの顔の向きを検出する。向き検出部２５は、例えば、電子コンパスを含む。

制御部２６は、記憶部２７に記憶されたプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。制御部２６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを含み得る。

記憶部２７は、プログラムや各種データを記憶する。また、記憶部２７は、端末表示装置４０から送信される画像情報や、端末表示装置４０の座標（位置）の情報などを記憶する。記憶部２７は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が備える磁気ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）によって構成され得る。

制御部２６は、画像Ｇと、画面領域Ｒ１の大きさとに基づいて、画像Ｇに対応する拡張現実画像ＡＧを生成する。詳細には、無線通信インターフェイス２３と端末表示装置４０とが無線通信で接続されると、制御部２６は、情報要求信号を端末表示装置４０へ送信するように無線通信インターフェイス２３を制御する。制御部２６は、端末表示装置４０から受信する画像情報と端末情報とに基づいて、画像Ｇの全体領域Ｇ１の大きさが画面領域Ｒ１の大きさを超えるか否かを判定する。画像Ｇの全体領域Ｇ１の大きさが画面領域Ｒ１の大きさを超える場合に、制御部２６は、超過領域Ｇ３を含む拡張現実画像ＡＧを生成する。画像Ｇの全体領域Ｇ１の大きさが画面領域Ｒ１の大きさを超えない場合に、制御部２６は、未超過領域Ｇ２を含む拡張現実画像ＡＧを生成する。制御部２６は、ディスプレー２１が拡張現実画像ＡＧを表示するように表示制御部２２を制御する。

以上、図１〜図４を参照して説明したように、本実施形態によれば、拡張現実画像ＡＧは、全体領域Ｇ１と端末画像４０Ｇとを含み得る。表示制御部２２は、全体領域Ｇ１と端末画像４０Ｇとを重畳して拡張現実画像ＡＧとして表示する。従って、ユーザーは、ディスプレー２１の向きを端末表示装置４０の画面４１Ａの位置に合わせることなく、現実の画面４１Ａ上で全体領域Ｇ１を目視するかの如く拡張現実で体感できる。その結果、画面４１Ａに表示される画像Ｇを目視する際の煩雑さを低減できる。

続いて、図５〜図７を参照して、端末表示装置４０の構成の詳細と、接触位置の詳細とについて説明する。図５は、端末表示装置４０を示す構成図である。図６（ａ）〜（ｃ）及び図７は、表示装置２０において表示される画像（ディスプレー２１に表示される画像）を示す図である。図５に示すように、端末表示装置４０は、タッチパネル４１、端末位置検出部４２、動き検知センサー４３、端末無線通信インターフェイス（Ｉ／Ｆ）４４、端末制御部４５、及び端末記憶部４６を備える。

タッチパネル４１は、画面４１Ａ、及びタッチセンサー４１Ｂを含む。ユーザーがタッチパネル４１を操作することにより、その操作に対応する処理を端末表示装置４０が実行する。

画面４１Ａは、例えば、液晶ディスプレーである。なお、画面４１Ａは、有機ＥＬディスプレー（Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ）であってもよい。画面４１Ａは、表示面を有する。画面４１Ａは、端末表示装置４０を操作するための操作アイコン等を表示する。また、画面４１Ａは、画像Ｇを表示する。画像Ｇは、例えば、インターネットサイトを示す画像、又は、文書及び／又は写真を示す画像である。

タッチセンサー４１Ｂは、タッチ面を有する。タッチ面は、表示面の上に配置される。タッチセンサー４１Ｂは、タッチ面に対する接触を検出すると、接触された位置を示す接触位置信号を生成する。接触位置信号は、端末制御部４５へ出力される。タッチセンサー４１Ｂは、例えば、抵抗膜方式のタッチセンサーである。なお、タッチセンサー４１Ｂは、静電容量方式であってもよい。

端末位置検出部４２は、例えば、ＧＰＳ受信機である。端末位置検出部４２は、ＧＰＳ衛星からの電波を受信し、端末表示装置４０の現在位置を示す情報を取得する。端末位置検出部４２は、取得した位置（座標）を示す端末位置情報を端末制御部４５へ定期的に出力する。端末位置情報は、端末表示装置４０が位置する経度及び緯度を示す。

動き検知センサー４３は、端末表示装置４０の動きを検知して、端末表示装置４０の動きを示す情報（動き情報）を端末制御部４５へ送信する。動き検知センサー４３は、加速度センサー及びジャイロスコープを含む。

端末無線通信インターフェイス４４は、表示装置２０との間の無線通信に使用される。つまり、端末無線通信インターフェイス４４の無線通信方式は、表示装置２０の無線通信インターフェイス２３と同じである。

端末記憶部４６は、プログラム、端末情報、及び画像情報を記憶する。例えば、端末記憶部４６は、各種の画像Ｇを示す情報を記憶する。端末記憶部４６は、例えば、ＨＤＤが備える磁気ディスク、ＲＡＭ及びＲＯＭによって構成され得る。

端末制御部４５は、端末記憶部４６に記憶されたプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。端末制御部４５は、例えばＣＰＵ又はＭＰＵのようなプロセッサーを含み得る。

端末制御部４５は、端末無線通信インターフェイス４４が表示装置２０から情報要求信号を受信すると、端末記憶部４６に記憶されている端末情報及び／又は画像情報を、端末無線通信インターフェイス４４を介して表示装置２０へ送信する。なお、端末制御部４５は、端末無線通信インターフェイス４４を介して、画像情報を定期的に表示装置２０に送信してもよい。また、端末制御部４５は、端末位置検出部４２から出力される端末位置情報を、端末無線通信インターフェイス４４を介して表示装置２０に送信し得る。また、端末制御部４５は、タッチセンサー４１Ｂから出力される接触位置信号に応じて、接触位置を示す接触位置情報を、端末無線通信インターフェイス４４を介して表示装置２０に送信する。

表示装置２０の表示制御部２２は、画面４１Ａで検出された接触位置に基づいて、拡張現実画像ＡＧの表示を変化させるようにディスプレー２１を制御する。例えば、表示装置２０は、端末表示装置４０から送信される接触位置情報に従い、全体領域Ｇ１をスライドしたり、全体領域Ｇ１の縮尺を変更して表示する。

例えば、図６（ａ）〜（ｃ）に示すように、表示装置２０は、全体領域Ｇ１を拡大して表示する。詳細には、表示装置２０は、例えば、２つの接触位置を示す接触位置情報に従い、図６（ａ）に示すように２つの接触位置画像ＣＧを表示する。表示装置２０は、接触位置画像ＣＧと共に、指を示す指画像ＦＧを表示してもよい。タッチセンサー４１Ｂは、２つの接触位置画像ＣＧに対応する接触位置が操作方向Ｈ１と操作方向Ｈ２とに移動したこと（ピンチアウト操作）を検出すると、対応する接触位置信号を端末制御部４５に出力する。端末制御部４５は、ピンチアウト操作を示す接触位置情報を、端末無線通信インターフェイス４４を介して表示装置２０に送信する。

表示制御部２２は、拡張現実画像ＡＧの縮尺を変更した縮尺変更画像ＳＧを接触位置情報に基づいて表示するようにディスプレー２１を制御する。例えば、表示制御部２２は、受信した接触位置情報に従い、図６（ｂ）に示すように、操作方向Ｈ１と操作方向Ｈ２とに向けて全体領域Ｇ１を拡大し、超過領域Ｇ３を含む拡張現実画像ＡＧを表示する。ユーザーは、超過領域Ｇ３に対して所定の指示（例えば、クリック）を入力する場合、例えば、指画像ＦＧを超過領域Ｇ３の位置に移動させるようにタッチセンサー４１Ｂに指示（例えば、フリック、又はスクロール）を入力すればよい。

さらに、図６（ｃ）に示すように、表示制御部２２は、縮尺変更画像ＳＧのサイズに応じて、縮尺変更枠画像４１ＳＧを表示するようにディスプレー２１を制御してもよい。縮尺変更枠画像４１ＳＧは、枠画像４１Ｇの縮尺を変更した画像である。端末画像４０Ｇは、枠画像４１Ｇを含み得る。枠画像４１Ｇは、画面４１Ａの枠を示す。

また、例えば、図７（ａ）及び（ｂ）に示すように、表示装置２０は、端末表示装置４０から送信される接触位置情報に従い、全体領域Ｇ１を縮小して表示する。タッチセンサー４１Ｂは、２つの接触位置画像ＣＧに対応する接触位置が操作方向Ｈ３と操作方向Ｈ４とに移動したこと（ピンチイン操作）を検出すると、対応する接触位置信号を端末制御部４５に出力する。端末制御部４５は、ピンチイン操作を示す接触位置情報を、端末無線通信インターフェイス４４を介して表示装置２０に送信する。表示制御部２２は、受信した接触位置情報に従い、操作方向Ｈ３と操作方向Ｈ４とに向けて全体領域Ｇ１を縮小して表示する。

以上、図５〜図７を参照して説明したように、本実施形態によれば、表示制御部２２は、画面４１Ａで検出された接触位置に基づいて、拡張現実画像ＡＧの表示を変化させるようにディスプレー２１を制御する。これにより、ユーザーは、タッチセンサー４１Ｂを操作することによって、画像Ｇの全体領域Ｇ１を操作できる。従って、未超過領域Ｇ２と超過領域Ｇ３とのいずれの領域についても、簡易な構成で画像を変化させることができる。

さらに、本実施形態によれば、表示制御部２２は、縮尺変更画像ＳＧのサイズに応じて、縮尺変更枠画像４１ＳＧを表示するようにディスプレー２１を制御することが好ましい。ユーザーは、縮尺変更枠画像４１ＳＧと縮尺変更画像ＳＧとを視覚的に対比することによって、縮尺変更画像ＳＧの現実の縮尺度合を直感的に認識できる。

続いて、図８〜図１０を参照して、視野領域Ｖの詳細について説明する。図８〜図１０は、表示装置２０において表示される画像を示す図である。表示制御部２２は、視野領域Ｖで拡張現実画像ＡＧを表示するようにディスプレー２１を制御する。詳細には、図８（ａ）に示すように、視野領域Ｖは、ユーザーによる視認可能な視野の領域を示す。視野領域Ｖは、予めディスプレー２１の画面サイズに応じてディスプレー２１に設定されている。画像Ｇは、第１領域Ｇ１Ａと第２領域Ｇ１Ｂとを含む。第２領域Ｇ１Ｂは、画像Ｇのうち第１領域Ｇ１Ａに連続して（隣接して）配置される領域である。第１領域Ｇ１Ａと第２領域Ｇ１Ｂとは、全体領域Ｇ１を構成する。

表示制御部２２は、第２領域Ｇ１Ｂが視野領域Ｖを超える場合、視野領域Ｖ内に第２領域Ｇ１Ｂを配置するように、第２領域Ｇ１Ｂの配置を変更する。詳細には、表示制御部２２は、画面領域Ｒ１の端部と視野領域Ｖの端部との間隔Ｗに応じて、第１領域Ｇ１Ａと第２領域Ｇ１Ｂとの境界を決定する。すなわち、表示制御部２２は、閾値としての間隔Ｗを超えないように第１領域Ｇ１Ａの範囲を決定する。表示制御部２２は、例えば、図８（ｂ）に示すように、第２領域Ｇ１Ｂを第１領域Ｇ１Ａから離間させ、視野領域Ｖにおける第１領域Ｇ１Ａの近傍に配置する。表示制御部２２は、第２領域Ｇ１Ｂを最少化するために、端末画像４０Ｇを視野領域Ｖのいずれかの端部に近接させて配置してもよい。このようにして、表示制御部２２は、第２領域Ｇ１Ｂが視野領域Ｖを超える場合、当初の画像Ｇの配置状態で第２領域Ｇ１Ｂを表示せず、第２領域Ｇ１Ｂの配置を変更して視野領域Ｖに表示するようにディスプレー２１を制御する。従って、ディスプレー２１は、視野領域Ｖに応じて、拡張現実画像ＡＧを一目で視認できるように表示できる。その結果、端末表示装置４０の画面４１Ａに表示される画像Ｇの視認性を更に向上させることができる。

さらに、図９に示すように、表示制御部２２は、第２領域Ｇ１Ｂが視野領域Ｖを超える場合、コピー領域Ｇ１Ｂ１を第２領域Ｇ１Ｂと共に視野領域Ｖ内に配置するように、第２領域Ｇ１Ｂの配置を変更することが好ましい。具体的には、第１領域Ｇ１Ａは、第２領域Ｇ１Ｂに隣接する端部領域Ｇ１Ａ１を有する。コピー領域Ｇ１Ｂ１は、端部領域Ｇ１Ａ１の画像と同一の画像を示す領域である。ユーザーは、視野領域Ｖの周縁近傍に位置する端部領域Ｇ１Ａ１を、コピー領域Ｇ１Ｂ１を目視することによっても容易に視認できる。従って、端末表示装置４０の画面４１Ａに表示される画像Ｇを視認する際に、画像Ｇの細部を見落とすことを抑制できる。

さらに、図１０（ａ）及び（ｂ）に示すように、表示制御部２２は、縮尺変更画像ＳＧの表示後に所定の接触位置が画面４１Ａで検出されると、所定の接触位置に基づいて参照画像ＴＧを縮尺変更画像ＳＧに重畳して表示するようにディスプレー２１を制御することが好ましい。詳細には、参照画像ＴＧは、縮尺が変更される前の画像Ｇを示す。縮尺変更画像ＳＧは、画像Ｇが縮小された画像であってもよいし、図１０（ａ）に示すように、画像Ｇが拡大された画像であってもよい。

縮尺変更画像ＳＧが表示された後に、所定の接触位置がタッチセンサー４１Ｂで検出される。所定の接触位置は、例えば、図７（ａ）を参照して説明したピンチイン操作による２つの接触位置である。表示装置２０は、所定の接触位置を示す接触位置情報を端末表示装置４０から受信する。

表示制御部２２は、図１０（ｂ）に示すように、接触位置情報に対応する２つの接触位置画像ＣＧを表示する際に、縮尺変更画像ＳＧに重畳して参照画像ＴＧを表示するようにディスプレー２１を制御する。ディスプレー２１は、端末画像４０Ｇを表示し、参照画像ＴＧを画面領域Ｒ１内に表示してもよい。このように、ユーザーは、例えば、視野領域Ｖを超えるほど過度に画像Ｇを拡大した後、縮尺変更画像ＳＧを縮小することを所望する際に、拡大前の画像Ｇのサイズを視覚的に参照できる。従って、縮尺変更画像ＳＧの縮尺を再度変更する際に、変更すべき縮尺の度合いを直感的に予測できる。

続いて、図１〜図１１を参照して、表示システム１０の動作を説明する。図１１は、表示装置２０が実行する、表示処理の一例を示すフローチャートである。ステップＳ１０１〜ステップＳ１２１が実行されることによって、表示装置２０は、拡張現実画像ＡＧの表示処理を実行する。具体的には、以下の通りである。

ステップＳ１０１において、表示装置２０は、無線通信で端末表示装置４０と接続する。表示装置２０は、端末表示装置４０へ情報要求信号を送信する。処理は、ステップＳ１０３に進む。

次に、ステップＳ１０３において、表示装置２０は、端末表示装置４０から端末情報と画像情報とを受信する。処理は、ステップＳ１０５に進む。

次に、ステップＳ１０５において、制御部２６は、画像Ｇの全体領域Ｇ１が画面４１Ａの画面領域Ｒ１を超えるか否かを判定する。全体領域Ｇ１が画面領域Ｒ１を超える場合（ステップＳ１０５でＹｅｓ）に、処理はステップＳ１０７に進む。一方、全体領域Ｇ１が画面領域Ｒ１を超えない場合（ステップＳ１０５でＮｏ）に、処理はステップＳ１１５に進む。

ステップＳ１０５でＮｏの場合に、ステップＳ１１５において、制御部２６は、未超過領域Ｇ２を含む拡張現実画像ＡＧを生成する。処理は、ステップＳ１１７に進む。

次に、ステップＳ１１７において、表示制御部２２は、拡張現実画像ＡＧを表示するようにディスプレー２１を制御する。処理は、ステップＳ１１９に進む。

ステップＳ１０５でＹｅｓの場合に、ステップＳ１０７において、制御部２６は、超過領域Ｇ３を含む拡張現実画像ＡＧを生成する。処理は、ステップＳ１０９に進む。

次に、ステップＳ１０９において、表示制御部２２は、拡張現実画像ＡＧを表示するようにディスプレー２１を制御する。処理は、ステップＳ１１１に進む。

次に、ステップＳ１１１において、制御部２６は、第２領域Ｇ１Ｂが視野領域Ｖを超えるか否かを判定する。第２領域Ｇ１Ｂが視野領域Ｖを超える場合（ステップＳ１１１でＹｅｓ）に、処理はステップＳ１１３に進む。一方、第２領域Ｇ１Ｂが視野領域Ｖを超えない場合（ステップＳ１１１でＮｏ）に、処理はステップＳ１１９に進む。

ステップＳ１１１でＹｅｓの場合に、ステップＳ１１３において、表示制御部２２は、視野領域Ｖ内に第２領域Ｇ１Ｂを配置するように、第２領域Ｇ１Ｂの配置を変更する。処理は、ステップＳ１１９に進む。

次に、ステップＳ１１９において、制御部２６は、端末表示装置４０から接触位置情報を受信したか否かを判定する。接触位置情報を受信した場合（ステップＳ１１９でＹｅｓ）に、処理はステップＳ１２１に進む。一方、接触位置情報を受信していない場合（ステップＳ１１９でＮｏ）に、処理は終了する。

ステップＳ１１９でＹｅｓの場合に、ステップＳ１２１において、表示制御部２２は、接触位置情報に従い、拡張現実画像ＡＧの表示を変化させるようにディスプレー２１を制御する。そして、処理は終了する。

以上、図面（図１〜図１１）を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の各実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の形状、方向等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。

（１）図１（ａ）と図３とを参照して説明した表示装置２０は、双眼型のヘッドマウントディスプレーであったが、本発明はこれに限られない。表示装置２０は、拡張現実画像ＡＧを表示する拡張現実表示処理を実行可能な携帯端末装置（例えば、スマートフォン）であってもよい。表示装置２０が携帯端末装置である実施形態において、ユーザーは、表示装置２０としての携帯端末装置をグーグルカードボード（登録商標）のような装着補助具を用いて頭部に装着してもよいし、手で直接支持して眼前にかざしてもよい。

（２）図８〜図１０を参照して説明した視野領域Ｖは、予めディスプレー２１の画面サイズに応じてディスプレー２１に設定されていたが、本発明はこれに限られない。視野領域Ｖは、ユーザーの視線方向に基づいて設定されてもよい。このような実施形態において、表示装置２０は、眼球画像取得部と視線方向検出部とを更に備える。眼球画像取得部は、例えば、近赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、及び赤外線カメラを有する。眼球画像取得部は、ユーザーの左右の目（眼球）の画像（眼球画像）を取得できるように配置される。視線方向検出部は、取得された眼球画像に基づいて、例えば、角膜反射法によってユーザーの視線方向を検出する。表示制御部２２は、検出された視線方向に基づき、ユーザーの視野領域Ｖの範囲の閾値を決定し、ディスプレー２１に視野領域Ｖを設定する。従って、ユーザーの個人差による視線方向の違いに応じて、視野領域Ｖの範囲を調整できる。その結果、表示装置２０の汎用性を向上させることができる。

（３）図１〜図１１を参照して説明した表示装置２０は、光学透過式のヘッドマウントディスプレーであったが、本発明はこれに限られない。表示装置２０は、例えば、ビデオ透過式のヘッドマウントディスプレーであってもよい。ビデオ透過式の表示装置２０は、上述した眼球画像取得部と視線方向検出部とに加えて、環境画像取得部と対象特定部とを更に備え得る。環境画像取得部は、ユーザーの周辺環境の画像（周辺環境画像）を取得する。制御部２６は、周辺環境画像を画像解析して、周辺環境画像に含まれる端末表示装置４０の有無やユーザーの腕の有無をマッチング処理で判定する。対象特定部は、端末表示装置４０から送信される端末表示装置４０の座標と、位置検出部２４により検出された表示装置２０の現在位置と、向き検出部２５により検出された表示装置２０の向きとに基づいて、ユーザーの視野内（周辺環境画像内）に存在する端末表示装置４０を特定する。さらに、対象特定部は、周辺環境画像に含まれる端末画像４０Ｇとユーザーの腕画像との配置関係を特定する。表示制御部２２は、例えば、端末画像４０Ｇの中心点よりも左側寄りに腕画像が配置されている場合（つまり、左手で端末表示装置４０が所持されている可能性が高い場合）、端末画像４０Ｇの右側に超過領域Ｇ３を表示することが好ましい。これにより、端末表示装置４０を所持しない方の手で超過領域Ｇ３を操作する際の利便性を向上させることができる。

本発明は、表示装置の分野に利用可能である。

１０ 表示システム
２０ 表示装置
２１ ディスプレー
２２ 表示制御部
２６ 制御部
４０ 端末表示装置
４１Ａ 画面
ＡＧ 拡張現実画像
Ｇ 画像
Ｇ１ 全体領域
Ｇ３ 超過領域
Ｒ１ 画面領域

Claims (8)

1. 外部の端末表示装置の画面に表示される画像をユーザーに視認されるように拡張現実で表示する表示装置であって、
   前記画像と、前記画面の画面領域の大きさとに基づいて、前記画像に対応する拡張現実画像を生成する制御部と、
   前記拡張現実画像を表示するディスプレーと、
   前記ディスプレーによる表示を制御する表示制御部と
   を備え、
   前記制御部は、前記画像の全体領域の大きさが前記画面領域の大きさを超える場合に、超過領域を含む前記拡張現実画像を生成し、
   前記超過領域は、前記全体領域のうち前記画面領域の大きさを超える部分を示し、
   前記表示制御部は、前記画面領域の外側に前記超過領域を表示するように前記ディスプレーを制御する、表示装置。
2. 前記拡張現実画像は、前記全体領域と、前記端末表示装置を示す端末画像とを含み、
   前記表示制御部は、前記全体領域と前記端末画像とを重畳して表示するように前記ディスプレーを制御する、請求項１に記載の表示装置。
3. 前記ディスプレーは、ユーザーの視野を示す視野領域を有し、
   前記表示制御部は、前記視野領域で前記拡張現実画像を表示するように前記ディスプレーを制御し、
   前記画像は、第１領域と、前記第１領域に連続して配置される第２領域とを含み、
   前記表示制御部は、前記第２領域が前記視野領域を超える場合、前記視野領域内に前記第２領域を配置するように、前記第２領域の配置を変更する、請求項１又は請求項２に記載の表示装置。
4. 前記第１領域は、前記第２領域に隣接する端部領域を含み、
   前記表示制御部は、前記第２領域が前記視野領域を超える場合、コピー領域を前記第２領域と共に前記視野領域内に配置するように、前記第２領域の配置を変更し、
   前記コピー領域は、前記端部領域の画像と同一の画像を示す領域である、請求項３に記載の表示装置。
5. 前記表示制御部は、前記画面で検出された接触位置に基づいて、前記拡張現実画像の表示を変化させるように前記ディスプレーを制御する、請求項１から請求項４のいずれか１項に記載の表示装置。
6. 前記表示制御部は、前記画像の縮尺を変更した縮尺変更画像を前記接触位置に基づいて表示するように前記ディスプレーを制御し、
   前記表示制御部は、前記縮尺変更画像の表示後に所定の接触位置が前記画面で検出されると、前記所定の接触位置に基づいて参照画像を前記縮尺変更画像に重畳して表示するように前記ディスプレーを制御し、
   前記参照画像は、前記縮尺が変更される前の前記画像を示す、請求項５に記載の表示装置。
7. 前記拡張現実画像は、前記端末表示装置を示す端末画像を含み、
   前記端末画像は、前記画面の枠を示す枠画像を含み、
   前記表示制御部は、前記縮尺変更画像のサイズに応じて、前記枠画像の縮尺を変更した縮尺変更枠画像を表示するように前記ディスプレーを制御する、請求項６に記載の表示装置。
8. 外部の端末表示装置の画面に表示される画像をユーザーに視認されるように拡張現実で表示する画像表示方法であって、
   前記画像と、前記画面の画面領域の大きさとに基づいて、前記画像に対応する拡張現実画像を生成する制御工程と、
   前記拡張現実画像を表示する表示工程と、
   前記表示工程における表示を制御する表示制御工程と
   を包含し、
   前記制御工程において、前記画像の全体領域の大きさが前記画面領域の大きさを超える場合に、超過領域を含む前記拡張現実画像を生成し、
   前記超過領域は、前記全体領域のうち前記画面領域の大きさを超える部分を示し、
   前記表示制御工程において、前記画面領域の外側に前記超過領域を表示するように前記表示工程における表示を制御する、画像表示方法。

Images