JP2021067899A - 頭部装着型表示装置および表示コンテンツ制御方法 - Google Patents

Abstract

【課題】装着状態やユーザの性質に応じてコンテンツを最適に配置し、所望のコンテンツを快適に見ることができる頭部装着型表示装置を提供する。【解決手段】頭部装着型表示装置１は、装着状態に応じてセンサ値が変化する装着状態センサ（例えば、センサ１２）と、装着状態センサの出力に応じて装着状態を判断する装着状態判断部１０１と、表示するコンテンツを保存する記憶部１０６と、記憶部１０６に保存されているコンテンツを変更するコンテンツ制御部１０８と、記憶部１０６に保存されているコンテンツを表示する表示部１１とを備え、コンテンツ制御部１０８は装着状態判定部が出力する装着状態に応じてコンテンツを変更する。【選択図】図３

Description

本発明は、頭部装着型表示装置および表示コンテンツ制御方法に関する。

近年、ユーザの頭部に装着して、現実空間に仮想空間の画像を重畳して表示するシースルー型頭部装着型表示装置（ヘッドマウントディスプレイとも呼ばれる）が注目されている。工場などでは、作業工程などのコンテンツを見ながら作業を行うケースがあるが、作業対象の近くにディスプレイなどの情報表示装置を配置することが難しい場合がある。そのようなとき、シースルー型頭部装着型表示装置を使用すれば、作業者は情報表示装置を手に持ったり、遠くの情報表示装置を見に行ったりする必要がなく、作業効率を改善することができる。

頭部装着型表示装置における表示制御については、頭部装着型表示装置やユーザの状態に応じて表示画像を切り替える構成とすることで使いやすいものとなる。例えば、特許文献１に記載のヘッドマウントディスプレイでは、ヘッドマウントディスプレイの装着位置に応じて、顔を中心とした外側に視覚刺激映像を表示することにより、両目視野闘争を抑制し表示画像を見やすくしている。

また、特許文献２に記載のヘッドマウントディスプレイでは、ユーザの眼の情報（形状、サイズ、位置、傾き、虹彩パターン）をカメラで検出し、画像表示機構の少なくとも一部を移動する。

特開２０１９−１３２９００号公報 特開２０１９−７４５８２号公報

作業者が、作業工程などのコンテンツを見ながら作業を行う場合、コンテンツを違和感や疲れがないように表示することが重要である。例えば、ユーザが片方の眼前に固定する片眼型の頭部装着型表示装置を装着する場合、顔中心として頭部装着型表示装置を付けた眼の反対側にコンテンツを配置すると、顔を右に振ってコンテンツを探す場合に見にくくなる。また、ユーザが両方の眼前に固定する両眼型の頭部装着型表示装置を装着する場合でも、コンテンツの配置と利目に関係によって、コンテンツが見にくくなり、いずれにしても作業の妨げになる場合がある。

特許文献１に記載の方法では、顔を中心とした外側に視覚刺激映像を表示しているが、表示画像の位置は変更していない。また、特許文献２に記載の方法では、ユーザの眼の動きによって表示機構を制御するが、コンテンツを見やすくするものではない。さらに、表示機構を備えるため、頭部装着型表示装置の大きさや重量が増加し、作業の妨げになる場合がある。

本発明は、前記した課題を解決するためになされたものであり、頭部装着型表示装置の装着状態やユーザの性質（利用度、コンテンツ閲覧回数など）、もしくはその両方に応じてコンテンツを最適に配置することで、コンテンツを見やすくする頭部装着型表示装置および表示コンテンツ制御方法を提供することを目的とする。

前記目的を達成するため、本発明の頭部装着型表示装置は、装着状態に応じてセンサ値が変化する装着状態センサ（例えば、センサ１２）と、装着状態センサの出力に応じて装着状態を判断する装着状態判断部と、表示するコンテンツを保存する記憶部と、記憶部に保存されているコンテンツを変更するコンテンツ制御部と、記憶部に保存されているコンテンツを表示する表示部と、を備え、コンテンツ制御部は、装着状態判断部が出力する装着状態に応じてコンテンツを変更することを特徴とする。本発明のその他の態様については、後記する実施形態において説明する。

本発明によれば、頭部装着型表示装置の装着状態やユーザの性質に応じてコンテンツを最適に配置し、ユーザは所望のコンテンツを快適に見ることができる。

実施形態１に係る頭部装着型表示装置の外観を示す図である。 実施形態１に係る頭部装着型表示装置のハードウェア構成を示す図である。 実施形態１に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。 実施形態１に係る装着状態判断部の処理を示すフローチャートである。 表示制御部が記憶部内に保存されている表示情報を切り出す方法を示す図である。 実施形態１に係る作業者の視野とコンテンツ配置可能領域を示す図である。 実施形態１に係る作業者の視野とコンテンツ配置可能領域の他の例を示す図である。 実施形態１に係る作業者の視野とコンテンツ配置可能領域のさらに他の例を示す図である。 実施形態１に係る右目に頭部装着型表示装置を装着した場合のコンテンツ配置例を示す図である。 実施形態１に係る左目に頭部装着型表示装置を装着した場合のコンテンツ配置例を示す図である。 実施形態２に係る頭部装着型表示装置の外観を示す図である。 実施形態２に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。 実施形態２に係る装着状態判断部の処理を示すフローチャートである。 実施形態３に係る頭部装着型表示装置の外観を示す図である。 実施形態４に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。 実施形態５に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。

本発明を実施するための実施形態について、適宜図面を参照しながら詳細に説明する。
<<実施形態１>>
実施形態１では、ユーザの頭部装着型表示装置の装着状態を装着状態検出センサにより検出し、これに応じて仮想空間内のコンテンツを変更する配置する構成とした。コンテンツの変更とは、コンテンツの内容や配置を変更することを含む。コンテンツの内容の変更とは、例えばコンテンツの横書きを縦書きに変更することなどである。日本語の場合、横書きのコンテンツを左側に配置する場合、文末から視認することになり、読みにくくなってしまう。日本語のコンテンツを左側に配置する場合は縦書きにすることで読みやすくなる。コンテンツの配置の変更とは、後述する仮想空間内のコンテンツの位置を変更することである。以降では、コンテンツの配置を変更する構成を説明する。

図１は、実施形態１に係る片眼型の頭部装着型表示装置１の外観図である。頭部装着型表示装置１は透過型ヘッドマウントディスプレイ（Head Mounted Display、以下ＨＭＤ）として構成されている。ＨＭＤを用いた作業支援においては、作業者４００はヘルメット３００を被ることが多いので、ヘルメット３００にＨＭＤを接続した例を用いて説明する。

図１では、頭部装着型表示装置１の表示部１１を左目で視認できるように装着しているが、頭部装着型表示装置１の表示部１１を右眼で視認できるようにも装着することができる。この場合、頭部装着型表示装置１の上下を反転して装着する。上下を反転した場合、センサ１２（装着状態センサ）も上下が反転することになる。

頭部装着型表示装置１は、表示部１１、センサ１２、コントローラ１３を備える。表示部１１は作業者４００の目４０の正面に配置され、これにより作業者４００の視線方向に映像が見えるようにする。センサ１２は、作業者４００の頭部装着型表示装置１の装着状態および作業者４００の頭部の動きを検出する。

コントローラ１３は、ヘルメット３００に組み付けられている。ヘルメット３００に固定された固定治具３１０からアーム３２０を延伸して頭部装着型表示装置１とアーム３２０を接続することにより、頭部装着型表示装置１をヘルメット３００に固定する。表示部１１が目４０の最適な位置に配置されるように、アーム３２０は自由に曲げ伸ばしが可能である。図１のように２箇所で頭部装着型表示装置１を固定してもよい。１か所のみ固定すると、その箇所を支点として頭部装着型表示装置１が回転しやすくなるので、目４０と表示部１１の位置がずれやすくなる。位置がずれると映像の欠けやぼやけが発生するので、視認性の低下につながってしまう。２箇所で固定すれば回転しにくくなるので、視認性低下を抑制できる。固定位置は、頭部装着型表示装置１の表示部１１の反対側端部、および頭部装着型表示装置１がＬ字に折れ曲がる箇所とするのが有効である。

図２は、頭部装着型表示装置１のハードウェア構成を示す図である。コントローラ１３のハードウェアは、ＣＰＵ（Central Processing Unit）１４１、ＲＯＭ（Read Only Memory）１４２、ＲＡＭ（Random Access Memory）１４３、センサ入力部１４４および映像出力部１４５等を備えている。

センサ１２（装着状態センサ）は、装着状態および作業者４００の頭部の動きに応じた検出値を出力する。ここでは、表示部１１に固定されたセンサを示している。センサ１２の種類としては、加速度センサ、角速度センサ、地磁気センサだけでなく、カメラ、マイク（マイクロフォン）なども使用可能である。なお、以下の説明では、３軸加速度および３軸角速度を取得可能なセンサとする。

また、センサ１２のうち、頭部動作センサとしては、加速度センサ、角速度センサ、地磁気センサなどを使用することができる。

ＣＰＵ１４１は、ＲＯＭ１４２またはＲＡＭ１４３に格納されているプログラムを実行する。具体的には、ＣＰＵ１４１がプログラムを実行することにより、頭部装着型表示装置１の各部の機能が実現される。ＲＯＭ１４２は、ＣＰＵ１４１が実行するプログラムおよび実行に必要な各種パラメータを格納するための記憶媒体である。ＲＡＭ１４３は、表示部１１で表示するための画像および各種情報を格納するための記憶媒体である。また、ＲＡＭ１４３は、ＣＰＵ１４１が使用するデータの一時保管領域としても機能する。頭部装着型表示装置１は、ＣＰＵ１４１とＲＯＭ１４２とＲＡＭ１４３をそれぞれ複数有する構成でもよい。

センサ入力部１４４は、センサ１２からセンサ値を取得する。センサ入力部１４４とセンサ１２との間は、Ｉ２Ｃ（Inter-Integrated Circuit）、ＳＰＩ（Serial Peripheral Interface）、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）などのプロトコルでデータを送受信してもよいし、センサ１２が出力する電圧値等の信号をセンサ入力部１４４が定期的に観測してもよい。

映像出力部１４５は、ＲＯＭ１４またはＲＡＭ１５に保存された画像に同期信号等を付与し、表示部１１に送信する。

なお、頭部装着型表示装置１のハードウェア構成は、図２に示す構成に限定されない。例えばＣＰＵ１４１、ＲＯＭ１４２、ＲＡＭ１４３を頭部装着型表示装置１とは別体として設けるようにしてもよい。その場合、頭部装着型表示装置１は汎用のコンピュータ（例えばサーバコンピュータやパーソナルコンピュータ、スマートフォン等）を用いて実現するようにしてもよい。

また、複数のコンピュータをネットワークで接続して、頭部装着型表示装置１の各部の機能を各コンピュータが分担することもできる。一方で、頭部装着型表示装置１の機能の１つ以上を、専用のハードウェアを用いて実現することもできる。

図３は、実施形態１に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。頭部装着型表示装置１は、周辺機器２やクラウドサーバ３に接続されている。

頭部装着型表示装置１は、表示部１１、センサ１２、装着状態判断部１０１、頭部動作判断部１０２、表示制御部１０３、外部インターフェース１０４、無線通信部１０５、記憶部１０６、タイマー１０７、コンテンツ制御部１０８を備える。

周辺機器２は、カメラ２０、マイク２１、リモコン２２、スピーカ２３を含む。カメラ２０は、作業者４００の周囲を撮影することができる。マイク２１は、作業者４００の声を頭部装着型表示装置１に対して入力する。リモコン２２は、映像切替や表示モード設定などを指示するデバイスである。スピーカ２３は、音声によって作業者４００の作業を支援する。なお、リモコンはリモートコントローラの略称である。

頭部装着型表示装置１が外部と通信する場合（例えば中央監視室と作業者４００が作業状況を共有する場合）、無線通信部３１とクラウドサーバ３を設けてもよい。無線通信部１０５は無線通信部３１と無線通信する。通信手段は例えばＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）を用いる。無線通信部３１は無線通信部１０５から受信したデータをクラウドサーバ３に送信する。ここで言うクラウドサーバ３は遠隔管理者側であり、遠隔管理者側から作業者４００のＨＭＤに対して映像や音声の共有、設定値の変更、データ取得などを実施することを想定する。無線通信部３１が受信するデータは、カメラ２０の映像データでもよいし、マイク２１から入力された音声データでもよい。無線通信部３１はクラウドサーバ３から受信したデータを無線通信部１０５に送信する。

装着状態判断部１０１は、センサ１２によって得られた加速度から、作業者４００の装着状態を判断する。実施形態１の頭部装着型表示装置１は、顔の側方で表示部１１が固定されている。頭部装着型表示装置１を左右付け替える場合は、頭部装着型表示装置１の天地が反対になる。

図４は、実施形態１に係る装着状態判断部１０１の処理を示すフローチャートである。
ステップＳ４０１：装着状態判断部１０１はセンサ１２から加速度センサ値を取得する。
ステップＳ４０２：取得した加速度センサ値からＨＭＤ座標系の垂直方向成分Ｚｔを求める。具体的には、頭部装着型表示装置１のＨＭＤ座標系三次元直交座標上の重力加速度ベクトルＧを求め、ＨＭＤ座標系の垂直方向成分Ｚｔの大きさを求める。ＨＭＤ座標系とは、表示部１１に固定された座標系であり、ＨＭＤ座標系の垂直方向とは作業者４００が直立しているときにグローバル座標の鉛直方向と等しくなる方向である。重力加速度ベクトルＧはセンサ１２の座標系とＨＭＤ座標系が等しい場合には、３軸加速度センサが出力する３つの値（Ｘａ，Ｙａ，Ｚａ）を重力加速度ベクトルＧの要素に各々代入し、ノルムが１になるように正規化することで求めることができる。
ステップＳ４０３：垂直方向成分Ｚｔの大きさが閾値Ｄｚより大きいか判断する。閾値Ｄｚより大きい場合は（ステップＳ４０３，Ｙｅｓ）、Ｓ４０４に遷移し、閾値Ｄｚ以下の場合は（ステップＳ４０３，Ｎｏ）、Ｓ４０１に戻る。

ステップＳ４０４：タイマー１０７をリセットし、スタートする。
ステップＳ４０５：ステップＳ４０１と同様にしてセンサ１２から加速度センサ値を取得する。
ステップＳ４０６：ステップＳ４０２と同様にして加速度センサ値からＨＭＤ座標系の垂直方向成分Ｚを求める。

ステップＳ４０７：垂直方向成分Ｚの絶対値が閾値Ｄｚより大きく、かつ垂直方向成分Ｚと垂直方向成分Ｚｔの符号が等しいか判断する。真の場合は（ステップＳ４０７，Ｙｅｓ）、ステップＳ４０８に遷移し、偽の場合は（ステップＳ４０７，Ｎｏ）、ステップＳ４０１に戻る。垂直方向成分Ｚと垂直方向成分Ｚｔの符号が等しいか判断することにより、装着状態判断部１０１による加速度センサ値のサンプリングレート以下の時間で符号が逆転し、垂直方向成分Ｚの絶対値が閾値Ｄｚが大きい場合に、装着状態判断部１０１が左右の判断をしないようになる。

ステップＳ４０８：タイマー１０７の値が閾値Ｄｔ秒以上であるかを判断する。閾値Ｄｔ以上の場合は（ステップＳ４０８，Ｙｅｓ）、ステップＳ４０９に遷移し、小さい場合は（ステップＳ４０８，Ｎｏ）、ステップＳ４０５に戻る。これにより、閾値Ｄｔ秒以上同じ方向に装着している場合のみ、頭部装着型表示装置１の装着方向を判断することができる。タイマー１０７を使用しない場合は、作業者４００のしゃがみ動作や前傾動作などにより閾値Ｄｔ秒より短い時間だけ垂直方向成分Ｚが逆になる場合にも装着状態の判断をしてしまう。

ステップＳ４０９：垂直方向成分Ｚが０より大きいか判断する。０より大きい場合は（ステップＳ４０９，Ｙｅｓ）、ステップＳ４１０に遷移し、０以下の場合は（ステップＳ４０９，Ｎｏ）、ステップＳ４１１に遷移する。
ステップＳ４１０：頭部装着型表示装置１を右眼に装着していると判断する。
ステップＳ４１１：頭部装着型表示装置１を左眼に装着していると判断する。

ただし、ステップＳ４１０とステップＳ４１１は、ＨＭＤ座標系の垂直方向の軸の向きにより入れ替えることができる。

また、ステップＳ４０２およびステップＳ４０６において、装着状態判断部１０１がＨＭＤ座標系の垂直方向成分ＺｔおよびＨＭＤ座標系の垂直方向成分Ｚを求める別の方法として、１軸の加速度センサを用いる例を説明する。１軸の加速度センサの軸を、作業者４００が静止しているときにグローバル座標の鉛直方向と等しくなるように設置する。このときＨＭＤ座標系の垂直方向成分Ｚは、センサ値Ｚａと等しくなる。

図３に戻り、頭部動作判断部１０２は、頭部がグローバル座標系のどこを向いているかを算出する。少なくとも頭部装着型表示装置１のグローバル座標系のヨー角Ｒｙおよびピッチ角Ｒｐを算出する。ヨー角Ｒｙおよびピッチ角Ｒｐは、センサ１２に含まれる３軸角速度センサのセンサ値によって回転演算を繰り返すことで求めることができる。また、センサ１２に含まれる３軸角速度センサとセンサ１２に含まれる３軸加速度センサを組み合わせてヨー角Ｒｙおよびピッチ角Ｒｐの精度を向上することもできる。このとき、ヨー角Ｒｙおよびピッチ角Ｒｐの計算には、一般に知られているカルマンフィルタやＭａｄｇｗｉｃｋフィルタを用いることができる。

表示制御部１０３は、頭部動作判断部１０２が出力するヨー角Ｒｙおよびピッチ角Ｒｐに応じて、記憶部１０６内に保存されている表示情報を抜き出して表示部１１に映像信号として出力する。

図５は、表示制御部１０３が記憶部１０６内に保存されている表示情報を切り出す方法を示す図である。記憶部１０６には、仮想空間ＶＳが保存されている。仮想空間ＶＳは、コンテンツ画像を含む２次元の画像であり、横方向（Ｘ軸方向）にＦｗピクセル、縦方向（Ｙ軸方向）にＦｈピクセルである。仮想空間ＶＳの原点画素（Ｘ，Ｙ）＝（０，０）は原点アドレスＡＤＤＲに保存され、記憶部１０６内のメモリには仮想空間ＶＳの横方向が連続になるように保存されている。また、画素（Ｆｗ、０）と画素（０，１）はメモリ上で連続な領域に格納されている。

表示領域Ｓは、実際に表示部１１に表示される仮想空間ＶＳ内の領域である。表示制御部１０３は、仮想空間ＶＳの中から、適切に表示領域Ｓを切り出す。表示領域Ｓは、２次元の画像であり、作業者４００の頭部が視線Ｌを向いているとき、仮想空間ＶＳ内の画素（Ｘｓ，Ｙｓ）を原点として、横方向（Ｘ軸方向）にＳｗピクセル、縦方向（Ｙ軸方向）にＳｈピクセルである。

表示制御部１０３は、ＸｓおよびＹｓを求めて、それに応じた表示領域Ｓを出力する。ここで、ＸｓおよびＹｓは、以下の式で求められる。なお、表示部１１の横方向のＦＯＶ（Field of View）をＦＯＶｗ［°］、縦方向のＦＯＶをＦＯＶｈ［°］とする。
Ｘｓ＝（Ｆｗ−Ｓｗ）／２−（Ｒｙ＊Ｓｗ）／ＦＯＶｗ
Ｙｓ＝（Ｆｈ−Ｓｈ）／２−（Ｒｐ＊Ｓｈ）／ＦＯＶｈ

この方法は、ヨー角Ｒｙおよびピッチ角Ｒｐがともに０［°］の場合に、仮想空間ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）と表示領域Ｓの中心画素（Ｘｓ＋Ｓｗ／２、Ｙｓ＋Ｓｈ／２）が同じ画素となる。

この方法によって、作業者４００は仮想空間ＶＳが現実空間に固定されているように知覚することができ、その時々に必要なコンテンツを選択的に表示することができる。

図６Ａから図６Ｃは、作業者４００の視野とコンテンツ配置可能領域ＣＬを表す図である。作業者４００は右目で表示部１１を視認できるように頭部装着型表示装置１を装着している。作業者４００は、右目で右目視野ＦＲに含まれる像を知覚し、左目で左目視野ＦＬに含まれる像を知覚する。また、両目視野ＦＳは右目視野ＦＲと左目視野ＦＬの重なる視野である。頭部装着型表示装置１は片眼型のため、右目または左目のどちらかでしか知覚することができない。例えば、右目に頭部装着型表示装置１を装着した場合、左目視野ＦＬから両目視野ＦＳを引いた視野にコンテンツを表示した場合、作業者４００はそれを知覚することができない。

また、右目に装着した頭部装着型表示装置１の表示部１１を右目視野のみで知覚できる場合でも、仮想空間ＶＳ内の左目視野ＦＬ付近に配置されたコンテンツは、右目で見にくいことが分かっている。これらのことから、コンテンツの配置を頭部装着型表示装置１の装着状態によって適切に変更することで、コンテンツを見やすい頭部装着型表示装置を提供することができる。

図６Ａは、顔正面Ｆを基準として装着の反対側２０°よりも装着側をコンテンツ配置可能領域ＣＬとした図である。人間は、顔正面を基準として約２０°よりも外側に視覚刺激がある場合は、視角刺激がある側の目で視認しようとすることが分かっている。装着の反対側２０°よりも装着側をコンテンツ配置可能領域とすることにより、装着していない側の目でコンテンツを視認しようとすることを防ぐことができる。なお、前記２０°は個人差もあるので、適宜変更してもよい。

図６Ｂは、顔正面Ｆよりも装着側をコンテンツ配置可能領域ＣＬとした図である。図６Ａの場合よりも、より装着側の目でコンテンツを視認することができる。

図６Ｃは、顔正面Ｆを基準として装着側２０°よりも装着側をコンテンツ配置可能領域ＣＬとした図である。このとき、ほぼ右目のみでコンテンツを視認しようとするようになる。

図３に戻り、コンテンツ制御部１０８は、記憶部１０６内の仮想画面ＶＳに含まれるコンテンツを制御する。コンテンツ制御とは、コンテンツの位置、文字色、背景色、大きさ、内容のいずれかを変更することを含む。

図７Ａは、作業者４００が右目に頭部装着型表示装置１を装着している場合の、コンテンツ配置の例である。仮想画面ＶＳにはコンテンツＣ１とコンテンツＣ２が配置されている。コンテンツＣ１の原点は、仮想空間ＶＳの画素（Ｘｃ１、Ｙｃ１）である。初期状態の両目視野ＦＳの中心が、仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）を通るように設定する。このとき、コンテンツ制御部１０８は、コンテンツＣ１とコンテンツＣ２がコンテンツ配置可能領域ＣＬに含まれるように、コンテンツＣ１とコンテンツＣ２の位置を変更する。また、初期状態の右目視野ＦＲの中心が、仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）を通るように設定してもよい。

図７Ｂは、作業者４００が左目に頭部装着型表示装置１を装着している場合の、コンテンツ配置の例である。右目の場合と同様に、コンテンツ制御部１０８は、コンテンツＣ１とコンテンツＣ２がコンテンツ配置可能領域ＣＬに含まれるように、コンテンツＣ１とコンテンツＣ２の位置を変更する。

コンテンツＣ１およびコンテンツＣ２の位置は、コンテンツそれぞれの重要度によって変更することができる。コンテンツそれぞれの重要度は記憶部１０６に保存されている。コンテンツ制御部１０８は、コンテンツそれぞれの重要度を比較し、重要度が高いコンテンツの位置を、装着状態判断部１０１が判断した目の視野中心付近に変更する。このとき、それぞれのコンテンツは重ならないように位置が変更される。

また、コンテンツＣ１およびコンテンツＣ２の位置は、コンテンツそれぞれのコンテンツタイプによって変更することができる。コンテンツタイプは、例えば、画像タイプ、横書き日本語文字列タイプ、縦書き日本語文字列タイプなどである。コンテンツそれぞれのコンテンツタイプは記憶部１０６に保存されている。コンテンツ制御部１０８は、コンテンツタイプに応じてコンテンツの位置を変更する。例えば、コンテンツタイプが横書き日本語文字列タイプの場合は、コンテンツを右側に配置する。これは、日本語の横書きが左から右へ文字が続くためであり、右側に配置することで、作業者４００は文字列の左側から知覚することができる。

仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）が現実空間のどこを通るかは、周辺機器２によって設定することができる。例えば、作業者４００が仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）を設定したい方向を向いて、リモコン２２を操作することで、頭部動作判断部１０２のヨー角Ｒｙおよびピッチ角Ｒｐをリセットすることができる。このリセットは、ヨー角Ｒｙおよびピッチ角Ｒｐを０にしてもよいし、ヨー角Ｒｙのみを０にしてもよい。ピッチ角Ｒｐを０にしないことによって、仮想空間ＶＳの上下位置をリセット後も保つことができる。

コンテンツ制御部１０８は、周辺機器２や無線通信部１０５から出力される信号によって、コンテンツの内容を変更することができる。

実施形態１によれば、装着状態を判断し、それに応じて仮想空間内のコンテンツの配置を変更することにより、どちらの目に装着した場合でもコンテンツを見やすい頭部装着型表示装置を実現できる。

<<実施形態２>>
実施形態２では、センサ１２として、マイク（マイクロフォン）を含む例を説明する。なお、実施形態１と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

図８は、センサ１２としてマイクを用いた頭部装着型表示装置１の外観図である。頭部装着型表示装置はマイク１２ａおよびマイク１２ｂを備える。このマイクは、頭部装着型表示装置１を挟むように設置されており、それぞれのマイクを結ぶ直線は頭部装着型表示装置１を作業者４００が装着したときに鉛直になる。頭部装着型表示装置１を反対側に装着した場合は、マイク１２ｂが上になり、マイク１２ａが下になる。

図９は、実施形態２に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。実施形態１における装着状態判断部１０１に換えて、装着状態判断部１０１Ａを備える。装着状態判断部１０１Ａは、マイク１２ａおよびマイク１２ｂから出力される音量Ｖａおよび音量Ｖｂに応じて、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断する。

図１０は、実施形態２に係る装着状態判断部１０１Ａの処理を示すフローチャートである。この処理により、作業者４００が声を発したとき発生する、マイク１２ａとマイク１２ｂの音量差によって頭部装着型表示装置１が左右のどちらに装着されているかを判断することができる。

ステップＳ５０１：装着状態判断部１０１Ａはマイク１２ａおよびマイク１２ｂから出力される音量Ｖａおよび音量Ｖｂを取得する。
ステップＳ５０２：音量ＶａおよびＶｂの音量差Ｖｚｔを求める。
ステップＳ５０３：音量差Ｖｚｔの大きさが閾値Ｄｖｚより大きいか判断する。閾値Ｄｖｚより大きい場合は（ステップＳ５０３，Ｙｅｓ）、Ｓ５０４に遷移し、閾値Ｄｖｚ以下の場合は（ステップＳ５０３，Ｎｏ）、Ｓ５０１に戻る。

ステップＳ５０４：タイマー１０７をリセットし、スタートする。
ステップＳ５０５：ステップＳ５０１と同様にしてマイク１２ａおよびマイク１２ｂから出力される音量Ｖａおよび音量Ｖｂを取得する。
ステップＳ５０６：ステップＳ５０２と同様にして音量ＶａおよびＶｂの音量差Ｖｚを求める。
ステップＳ５０７：音量差Ｖｚの絶対値が閾値Ｄｖｚより大きく、かつ音量差Ｖｚと音量差Ｖｚｔの符号が等しいか判断する。真の場合は（ステップＳ５０７，Ｙｅｓ）、ステップＳ５０８に遷移し、偽の場合は（ステップＳ５０７，Ｎｏ）、ステップＳ５０１に戻る。
ステップＳ５０８：タイマー１０７の値が閾値Ｄｔ秒以上であるかを判断する。閾値Ｄｔ以上の場合は（ステップＳ５０８，Ｙｅｓ）、ステップＳ５０９に遷移し、小さい場合は（ステップＳ５０８，Ｎｏ）、ステップＳ５０５に戻る。

ステップＳ５０９：音量差Ｖｚが０より大きいか判断する。０より大きい場合は（ステップＳ５０９，Ｙｅｓ）ステップＳ５１０に遷移し、０以下の場合は（ステップＳ５０９，Ｎｏ）、ステップＳ５１１に遷移する。
ステップＳ５１０：頭部装着型表示装置１を右眼に装着していると判断する。
ステップＳ５１１：頭部装着型表示装置１を左眼に装着していると判断する。

ただし、ステップＳ５１０とステップＳ５１１は、ＨＭＤ座標系の垂直方向の軸の向きにより入れ替えることができる。

マイク１２ａおよびマイク１２ｂが出力する音量ＶａおよびＶｂは、人の音声のみの音量でもよい。その場合、人の声以外をカットするバンドパスフィルタによって実現できる。

なお、マイク１２ａおよびマイク１２ｂは、周辺機器２に設置することもできる。このとき、音量Ｖａおよび音量Ｖｂは、外部インターフェース１０４を介して装着状態判断部１０１Ａに入力される。

実施形態２によれば、２つのマイク（マイクロフォン）によって口の方向を判断することによって、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断することができる。これにより、前傾動作やしゃがみ動作を行っても、正しく頭部装着型表示装置１の装着状態を判断することができる。

<<実施形態３>>
実施形態３では、センサ１２として、照度センサを含む例を説明する。なお、実施形態１乃至実施形態２と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

一般に、光は作業者４００の頭上から入射することが多い。例えば、屋内の場合は天井に照明があり、屋外の場合は空に太陽があり、光は頭上から入射する。つまり、光が強い方向を検出することで、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断することができる。

図１１は、センサ１２として照度センサを用いた頭部装着型表示装置１の外観図である。実施形態３における頭部装着型表示装置１は、実施形態２におけるマイク１２ａを照度センサ１２ｃに、マイク１２ｂを照度センサ１２ｄに置き換えたものである。実施形態２と同じように、頭部装着型表示装置１を反対側に装着した場合は、照度センサ１２ｄが上になり、照度センサ１２ｃが下になる。

照度センサ１２ｃおよび照度センサ１２ｄは、それぞれ照度を出力する。実施形態３における頭部装着型表示装置１の装着状態判断方法は、実施形態２の音量Ｖａおよび音量Ｖｂをそれぞれ照度に置き換えることで実現することができる。

なお、照度センサ１２ｃおよび照度センサ１２ｃは、周辺機器２に設置することもできる。このとき、照度は、外部インターフェース１０４を介して装着状態判断部１０１Ａに入力される。

実施形態３によれば、２つの照度センサによって光の方向を判断することによって、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断することができる。これにより、高騒音環境などで実施形態２が適用できない場合でも、頭部装着型表示装置１の装着状態を判断することができる。

<<実施形態４>>
実施形態４では、作業者４００が入力した装着状態もしくは利目（ききめ）情報をもとにコンテンツの位置を変更する例を説明する。なお、実施形態１乃至実施形態３と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

実施形態４における頭部装着型表示装置１は、片眼型でも両眼型でもよい。両眼型とは、左右の目の両方が表示部１１の表示を視認することができる頭部装着型表示装置である。

図１２は、実施形態４に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。頭部装着型表示装置１は、装着状態保存部１１１を備える。装着状態保存部１１１は、頭部装着型表示装置１の装着状態もしくは作業者４００の利目情報を保存する。装着状態および利目情報は、外部インターフェース１０４を介して、周辺機器２から入力することができる。

例えば、マイク２１から得られた音声データを音声認識した結果によって装着状態や利目情報を得ることができる。また、リモコンに右目装着ボタンや左目装着ボタンを配置し、その押下によって装着状態や利目情報を得ることができる。さらに、カメラで設定値が盛り込まれたＱＲ（Quick Response）コード（商標登録）を読み取り、装着状態や利目情報を得ることができる。

コンテンツ制御部１０８は、装着状態保存部１１１が保存している装着状態もしくは利目情報に応じて、仮想空間ＶＳ内のコンテンツの位置を変更する。装着状態保存部１１１が保存している利目情報が左目の場合は、装着状態が左であるときと同様にコンテンツの位置を変更し、装着状態保存部１１１が保存している利目情報が右目の場合は、装着状態が右であるときと同様にコンテンツの位置を変更する。

実施形態４によれば、ユーザの入力によりコンテンツの位置を見やすく変更することができる。

<<実施形態５>>
実施形態５は、作業者４００の視線に応じてコンテンツの重要度を判断し、そのコンテンツ重要度からコンテンツの位置を変更する例である。なお、実施形態１乃至実施形態４と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

図１３は、実施形態５に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。頭部装着型表示装置１は、コンテンツ重要度判断部１１２を備える。

コンテンツ重要度判断部１１２は、作業者４００の視線に応じて、記憶部１０６に保存されている、各コンテンツの重要度を変更する。作業者４００の視線とは、表示領域Ｓの中心画素（Ｘｓ＋Ｓｗ／２、Ｙｓ＋Ｓｈ／２）および目４０の中心を結ぶ直線である。コンテンツ重要度判断部１１２は、表示領域Ｓの中心画素にコンテンツが含まれる場合、該コンテンツの重要度をインクリメントする。これによって、よく見るコンテンツの重要度を上げることができる。また、コンテンツ重要度判断部１１２は、一定時間コンテンツを見続けた場合のみ、コンテンツの重要度を上げることもできる。これにより、例えば、コンテンツＣ１を越えてコンテンツＣ２を見る場合に、コンテンツＣ１の重要度は増えずに、コンテンツＣ２の重要度を上げることができる。

コンテンツ制御部１０８は、実施形態１で説明したように、コンテンツそれぞれの重要度を比較し、重要度が高いコンテンツの位置を、装着状態判断部１０１が判断した目の視野中心付近に変更する。このとき、それぞれのコンテンツは重ならないように位置が変更される。

＜変形例＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１ 頭部装着型表示装置
２ 周辺機器
３ クラウドサーバ
１１ 表示部
１２ センサ（装着状態センサ、頭部動作センサ）
１２ａ，１２ｂ マイク（マイクロフォン）
１２ｃ，１２ｄ 照度センサ
１３ コントローラ
４０ 目
１０１，１０１Ａ 装着状態判断部
１０２ 頭部動作判断部
１０３ 表示制御部
１０４ 外部インターフェース
１０５ 無線通信部
１０６ 記憶部
１０７ タイマー
１０８ コンテンツ制御部
１１１ 装着状態保存部
３００ ヘルメット
３１０ 固定治具
３２０ アーム
４００ 作業者
ＣＬ コンテンツ配置可能領域
Ｆ 顔正面
ＦＬ 左目視野
ＦＲ 右目視野
ＦＳ 両目視野
Ｌ 視線
Ｓ 表示領域
ＶＳ 仮想空間

Claims (14)

1. 装着状態に応じてセンサ値が変化する装着状態センサと、
   前記装着状態センサの出力に応じて装着状態を判断する装着状態判断部と、
   表示するコンテンツを保存する記憶部と、
   前記記憶部に保存されているコンテンツを変更するコンテンツ制御部と、
   前記記憶部に保存されているコンテンツを表示する表示部と、を備え、
   前記コンテンツ制御部は、前記装着状態判断部が出力する装着状態に応じてコンテンツを変更することを特徴とする頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記装着状態センサは、頭部の動きを検出する頭部動作センサであり、
   前記頭部動作センサのセンサ値に応じて頭部の動作を判断する頭部動作判断部と、
   前記記憶部に保存された映像を前記頭部動作判断部の判断に応じて切り出して出力する表示制御部と、を備える頭部装着型表示装置。
3. 請求項１又は請求項２に記載の頭部装着型表示装置であって、
   外部と通信を行う外部インターフェースを備え、
   前記コンテンツ制御部は、前記外部インターフェースにつながる入力装置の入力に応じて前記記憶部に保存されているコンテンツを変更する
   ことを特徴とする頭部装着型表示装置。
4. 請求項１又は請求項２に記載の頭部装着型表示装置であって、
   前記コンテンツ制御部は、前記装着状態判断部の判断に応じて前記記憶部に保存されているコンテンツの位置を装着側に変更する
   ことを特徴とする頭部装着型表示装置。
5. 請求項３に記載の頭部装着型表示装置であって、
   前記外部インターフェースは、入力装置の入力に応じて装着状態を出力し、
   前記コンテンツ制御部は、前記外部インターフェースの出力に応じて前記記憶部に保存されているコンテンツの位置を装着側に変更する
   ことを特徴とする頭部装着型表示装置。
6. 請求項４又は請求項５に記載の頭部装着型表示装置であって、
   前記装着側とは、顔正面を基準として装着の反対側２０°よりも装着側である
   ことを特徴とする頭部装着型表示装置。
7. 請求項４又は請求項５に記載の頭部装着型表示装置であって、
   前記装着側とは、顔正面よりも装着側である
   ことを特徴とする頭部装着型表示装置。
8. 請求項４又は請求項５に記載の頭部装着型表示装置であって、
   前記装着側とは、顔正面を基準として装着側２０°よりも装着側である
   ことを特徴とする頭部装着型表示装置。
9. 請求項１乃至７のいずれか１項に記載の頭部装着型表示装置であって、
   前記装着状態センサは、加速度センサであり、
   前記装着状態判断部は、前記加速度センサのセンサ値の絶対値が一定時間以上閾値を超えた場合に該センサ値の正負に応じて装着状態を判断する
   ことを特徴とする頭部装着型表示装置。
10. 請求項１乃至７のいずれか１項に記載の頭部装着型表示装置であって、
    前記装着状態センサは、２つ以上の照度センサであり、
    前記装着状態判断部は、前記２つ以上の照度センサのセンサ値の差が一定時間以上閾値を超えた場合に該差の正負に応じて装着状態を判断する
    ことを特徴とする頭部装着型表示装置。
11. 請求項１乃至７のいずれか１項に記載の頭部装着型表示装置であって、
    前記装着状態センサは、２つ以上のマイクロフォンであり、
    前記装着状態判断部は、前記２つ以上のマイクロフォンの音量の差が一定時間以上閾値を超えた場合に該差の正負に応じて装着状態を判断する
    ことを特徴とする頭部装着型表示装置。
12. 請求項１乃至９のいずれか１項に記載の頭部装着型表示装置であって、さらに、
    前記記憶部に保存されているコンテンツの重要度を変更するコンテンツ重要度判断部を備え、
    前記コンテンツ重要度判断部は、外部インターフェースにつながる入力装置の入力に応じて前記記憶部に保存されているコンテンツの重要度を変更し、
    前記コンテンツ制御部は前記記憶部に保存されたコンテンツの重要度によって該コンテンツの位置を変更する
    ことを特徴とする頭部装着型表示装置。
13. 請求項１２に記載の頭部装着型表示装置であって、
    前記コンテンツ重要度判断部は、表示制御部が出力する画像の中心に映っているコンテンツに応じて前記記憶部に保存されているコンテンツの重要度を変更する
    ことを特徴とする頭部装着型表示装置。
14. 装着状態に応じてセンサ値が変化する装着状態センサと、前記装着状態センサの出力に応じて装着状態を判断する装着状態判断部と、表示するコンテンツを保存する記憶部と、前記記憶部に保存されているコンテンツを変更するコンテンツ制御部と、前記記憶部に保存されているコンテンツを表示する表示部と、を備える頭部装着型表示装置の表示コンテンス制御方法であって、
    前記コンテンツ制御部は、前記装着状態判断部が出力する装着状態に応じてコンテンツを変更することを特徴とする表示コンテンツ制御方法。

Images