JP6693060B2 - 表示システム、表示装置、表示装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、表示システム、表示装置、表示装置の制御方法、及び、プログラムに関する。

従来、作業を行う人を支援するため、頭部に装着するヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）と呼ばれる表示装置を使用する例が知られている（例えば、特許文献１参照）。特許文献１記載のシステムでは、作業者が装着するＨＭＤが電子カメラを備え、ＨＭＤの電子カメラが撮像した作業対象が、指示者が操作するホストＰＣに表示される。指示者は、電子カメラが撮像した作業対象を見て、作業者のＨＭＤに警告表示等を行わせる。

特開２００８−１１３３１７号公報

上記従来の構成では、作業を支援する側である指示者はＰＣに表示される画像から作業者の状態を把握するが、作業者から作業を支援する側に対し、よりわかりやすい態様で多くの情報を伝達することが望まれていた。
本発明は上記事情に鑑みてなされたものであり、頭部装着型の表示装置を使用して動作を行う人に対し、他の人が支援を行う場合に、動作に関する多くの情報をよりわかりやすく伝達できるようにすることを目的とする。

上記目的を達成するために、本発明は、複数の頭部装着型の表示装置を備えるシステムであって、前記表示装置は、使用者に画像を視認させるとともに外景を透過する表示部と、他の前記表示装置と通信する通信部と、前記使用者の視界と重なる範囲を撮像する撮像部と、前記使用者の状態に関する判定を行う判定部と、制御部と、を備え、前記制御部は、前記撮像部の撮像画像に基づき視界データを他の前記表示装置に送信し、前記判定部の判定結果に基づき、前記通信部により他の前記表示装置に通知データを送信し、他の前記表示装置から送信されるデータに基づき前記表示部に表示を実行させること、を特徴とする。
本発明によれば、複数の表示装置の間で視界に関するデータと入力に関するデータとを共有できるので、複数の使用者が表示装置を装着することにより、視界と操作とを共有できる。これにより、例えば、動作を行う人と動作を支援する人が互いに頭部装着型の表示装置を装着することで、動作に関する多くの情報をよりわかりやすく伝達できる。また、使用者の状態に関する判定を行うことにより、適切なタイミングで通知データを送信できる。従って、使用者が、他の使用者に対し作業等を支援し、或いは、作業等の実行状態の管理を容易に、的確に行うことができる。

また、本発明は、上記表示システムにおいて、前記判定部は、前記使用者の動作に基づき、前記使用者の状態が予め設定された通知を行うべき状態に該当するかを判定し、前記判定部が、前記使用者の状態が通知を行うべき状態に該当すると判定した場合に、前記制御部が前記通信部により他の前記表示装置に通知データを送信させること、を特徴とする。
本発明によれば、使用者が通知を行うべき状態であることを判定して、他の装置に対して通知データを送信できる。

また、本発明は、上記表示システムにおいて、入力を認識する認識部を備え、前記判定部は、前記認識部が認識する入力に基づき前記使用者の状態を判定すること、を特徴とする。
本発明によれば、使用者または他の人による入力を認識して、使用者の状態を適切に判定できる。また、使用者または他の人は、入力を認識させることで、意図的に通知データを他の装置に送信させることができる。

また、本発明は、上記表示システムにおいて、音声を検出する音声処理部を備え、前記認識部は、前記音声処理部により検出される音声に基づき入力を認識すること、を特徴とする。
本発明によれば、音声による入力を行うことができ、複数の表示装置の間で、より容易に情報を伝達できる。

また、本発明は、上記表示システムにおいて、前記制御部は、前記音声処理部により検出される音声に基づき前記認識部が認識する入力を示すデータを他の前記表示装置に送信すること、を特徴とする。
本発明によれば、表示装置に対して音声により入力された内容を、他の表示装置を装着する使用者に知らせることができる。

また、本発明は、上記表示システムにおいて、前記表示部の動きを検出する動き検出部を備え、前記認識部は、前記動き検出部が検出する動きに基づき入力を認識すること、を特徴とする。
本発明によれば、表示部または表示部を装着した使用者の動きによる入力を行うことができる。

また、本発明は、上記表示システムにおいて、前記認識部は、前記撮像部の撮像画像に基づき入力を認識すること、を特徴とする。
本発明によれば、撮像画像から入力を認識できるので、より容易に入力を行うことができる。

また、本発明は、上記表示システムにおいて、前記制御部は、動作を案内する案内情報、前記動作の実行順を指定する順序情報、及び、前記動作の実行状態を示す状態情報を含む動作案内データを再生する再生処理を行い、前記再生処理において前記表示部に表示を実行し、前記認識部で認識する入力に基づいて再生中の前記動作案内データの状態情報を更新し、前記通信部によって、前記再生処理を行った前記動作案内データを他の前記表示装置に送信すること、を特徴とする。
本発明によれば、表示装置を装着して動作を実行する使用者に対して動作を案内でき、この案内に従って動作をした記録を含むデータを、他の表示装置が引き継いで使用できる。

また、本発明は、上記表示システムにおいて、前記撮像部は、前記使用者が注視する方向と重なる範囲を撮像すること、を特徴とする。
本発明によれば、使用者が注視する方向の画像を他の使用者に見せることができる。

また、上記目的を達成するために、本発明は、頭部装着型の表示装置において、使用者に画像を視認させるとともに外景を透過する表示部と、他の前記表示装置と通信する通信部と、前記使用者の視界と重なる範囲を撮像する撮像部と、前記使用者の状態に関する判定を行う判定部と、制御部と、を備え、前記制御部は、前記撮像部の撮像画像に基づき視界データを他の前記表示装置に送信し、前記判定部の判定結果に基づき、前記通信部により他の前記表示装置に通知データを送信し、他の前記表示装置から送信されるデータに基づき前記表示部に表示を実行させること、を特徴とする。
本発明によれば、他の表示装置との間で、視界に関するデータと入力に関するデータとを共有できる。これにより、例えば複数の使用者がそれぞれ表示装置を装着した構成において、視界と操作とを共有できる。この場合、動作を行う人と動作を支援する人が互いに表示装置を装着することで、動作に関する多くの情報をよりわかりやすく伝達できる。また、使用者の状態に関する判定を行うことにより、適切なタイミングで通知データを送信できる。

また、上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過する表示部を備える頭部装着型の表示装置において、前記使用者の視界と重なる範囲を撮像し、前記使用者の状態に関する判定を行い、撮像画像データに基づき視界データを他の前記表示装置に送信し、前記使用者の状態に関する判定結果に基づき、他の前記表示装置に通知データを送信し、他の前記表示装置から送信されるデータに基づき前記表示部に表示を実行させること、を特徴とする。
本発明によれば、他の表示装置との間で、視界に関するデータと入力に関するデータとを共有できる。これにより、例えば複数の使用者がそれぞれ表示装置を装着した構成において、視界と操作とを共有できる。この場合、動作を行う人と動作を支援する人が互いに表示装置を装着することで、動作に関する多くの情報をよりわかりやすく伝達できる。また、使用者の状態に関する判定を行うことにより、適切なタイミングで通知データを送信できる。

また、本発明は、使用者に画像を視認させるとともに外景を透過する表示部を備える頭部装着型の表示装置を制御するコンピューターが実行可能なプログラムとして構成できる。このプログラムは、前記コンピューターにより、前記使用者の視界と重なる範囲を撮像し、前記使用者の状態に関する判定を行い、撮像画像データに基づき視界データを他の前記表示装置に送信し、前記使用者の状態に関する判定結果に基づき、他の前記表示装置に通知データを送信し、他の前記表示装置から送信されるデータに基づき前記表示部に表示を実行させるプログラムである。また、本発明は、このプログラムを記憶した記憶媒体として構成してもよい。

実施形態の表示システムの概略構成図。 表示システム１の配置例を示す図。 頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す図。 ＨＭＤを構成する各部の機能ブロック図。 記憶部に記憶されるデータを示す模式図。 記憶部に記憶されるデータの構成例を示す模式図であり、（Ａ）は送信先設定データの例を示し、（Ｂ）は動作案内データの構成例を示す。 表示システムの動作を示すフローチャート。 表示システムの動作を示すフローチャート。 表示システムにおける表示例を示す図。 本発明の具体的な適用例を示す説明図。

図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
表示システム１は、複数のＨＭＤ１００を備え、それぞれのＨＭＤ１００は通信ネットワーク４を介して相互に通信可能に接続する。ＨＭＤ１００は、使用者が頭部に装着する表示装置であり、頭部装着型表示装置（ヘッドマウントディスプレイ、Head Mounted Display）とも呼ばれる。ＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のＨＭＤである。なお、以下の説明では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

図１に例示する３台のＨＭＤ１００は異なる使用者が装着し、例えば３人の使用者がそれぞれＨＭＤ１００を装着して、同時に使用できる。以下では、説明の便宜のため、３台のＨＭＤ１００を、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃとする。ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの使用場所をそれぞれサイトＡ、Ｂ、Ｃとする。
表示システム１は、動作を行う使用者がＨＭＤ１００Ｂ、１００Ｃを装着し、動作の指示や管理を行う使用者がＨＭＤ１００Ａを装着し、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの間で指示や管理のための情報を送受信する。サイトＡ、Ｂ、Ｃは、通信ネットワーク４に接続可能であれば地理的制約はなく、遠隔地であってもよいし、近接した場所であってもよい。また、以下の説明では３台のＨＭＤ１００Ａ、１００Ｂ、１００Ｃを通信ネットワーク４に接続する例を示すが、表示システム１が備えるＨＭＤ１００の数に制限はない。

図２は、表示システム１におけるＨＭＤ１００Ａ、１００Ｂ、１００Ｃの配置例を示す図である。
ＨＭＤ１００１００Ｂ、１００Ｃは、例えば、工場の作業ラインＦＡで作業者が作業を行うサイトＢ、Ｃに配置される。サイトＢで作業を行う作業者ＵＢがＨＭＤ１００Ｂを装着し、サイトＣで作業を行う作業者ＵＣがＨＭＤ１００Ｃを装着する。
作業ラインＦＡでは、作業の対象である部品等の対象ＯＢが矢印方向に搬送され、作業者ＵＢ、ＵＣは対象ＯＢに対して指示された作業を行う。
作業ラインＦＡを管理する管理者ＵＡは、管理者用のサイトＡにおいて、ＨＭＤ１００Ａを装着して使用する。管理者ＵＡは、表示システム１を使用して、作業者ＵＢ、ＵＣが行う作業の支援及び作業の進行状況の管理等を行う。

図２では、製造工場などの工場において、管理者がＨＭＤ１００を装着し、作業者がＨＭＤ１００を装着し、作業者が行う作業の支援、作業の進行状況の管理、作業結果の品質管理等を行う適用例を示したが、表示システム１を適用可能な対象は、これに限らず、次の適用例１〜４が挙げられる。
例１：倉庫を有する作業所において、倉庫内を移動して品物をピックアップする作業者、及び管理者がＨＭＤ１００を装着する。作業者のＨＭＤ１００により、倉庫内の移動の導線を表示し案内し、ピックアップする品物を指示する。作業管理者がＨＭＤ１００を装着して、作業の進行状況の管理等を行う。
例２：工事現場において、作業者のＨＭＤ１００により、設計図面に基づき地中内の配管等の直接視認できない設備等の位置を表示し案内する。工事管理者がＨＭＤ１００を装着して、工事の進行状況の管理を行う。
例３：ＨＭＤ１００を装着し移動する使用者に対して移動経路の案内や道案内を行う。移動の管理者がＨＭＤ１００を装着し、使用者の移動状況や位置を管理する。
例４：医療機関においてＨＭＤ１００を装着する医療従事者に対し、診療、診察或いは他の行為の支援を行う。ＨＭＤ１００を装着する支援者が、医療従事者が実行する行為の確認、進行状況の管理等を行う。

通信ネットワーク４は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク４は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。また、通信ネットワーク４、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク４が複数の通信回線で構成されてもよい。ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは、通信ネットワーク４を構成する無線アクセスポイント（図示略）等の装置と無線通信を実行することにより、通信ネットワーク４を介して相互にデータを送受信する。

ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは、共通の構成を有するものとして説明する。ＨＭＤ１００Ａ、１００Ｂ、１００Ｃを区別しない場合、ＨＭＤ１００と表記する。
ＨＭＤ１００は、使用者である指令者が頭部に装着する画像表示部２０、及び、画像表示部２０を制御する制御装置１０を備える。画像表示部２０は、使用者の頭部に装着された状態で使用者に虚像を視認させる。制御装置１０は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。

図３は、ＨＭＤ１００の外観構成を示す説明図である。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、右カメラ６１（撮像部）と、左カメラ６２（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図４〜図６を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図４）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

右カメラ６１は、ＨＭＤ１００の前面において右保持部２１側の端部に配置される。また、左カメラ６２は、ＨＭＤ１００の前面において左保持部２３側の端部に配置される。右カメラ６１、左カメラ６２は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
右カメラ６１及び左カメラ６２は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。別の表現では、右カメラ６１及び左カメラ６２の少なくとも一方は、使用者の視界と重なる範囲または方向を撮像する。より詳細には、右カメラ６１及び左カメラ６２の少なくとも一方は、使用者が注視する方向を撮像する。右カメラ６１及び左カメラ６２の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む画角である。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように右カメラ６１、左カメラ６２の撮像範囲が設定されているとより好ましい。
右カメラ６１及び左カメラ６２は、制御部１４０が備える撮像制御部１６１（図６）の制御に従って撮像を実行し、撮像画像データを撮像制御部１６１に出力する。

距離センサー６４は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー６４は、制御部１４０の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、制御部１４０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー６４は光源や受光部、或いは音源と検出部とを備え、測距処理を制御部１４０が行ってもよい。
本実施形態の距離センサー６４の測定方向は、ＨＭＤ１００の表側方向であり、右カメラ６１及び左カメラ６２の撮像方向と重複する。

図４は、画像表示部２０が備える光学系の構成を示す要部平面図である。図４には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２を備える。また、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１を備える。また、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図３に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図６）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、ＨＭＤ１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、ＨＭＤ１００の電源オン／オフを切り替えるスイッチである。

図５は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）は右カメラ６１及び左カメラ６２の画角の説明図である。なお、図５（Ａ）では画像表示部２０に繋がる右コード４２、左コード４４等の図示を省略する。

図５（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
図５（Ａ）に示すように、ＨＭＤ１００は、ハーフミラー２６１Ａ、及び、ハーフミラー２６２Ａが使用者の眼に画像光を反射することによって、表示領域を形成する。ＨＭＤ１００はハーフミラー２６１Ａ、２６２Ａにより画像光を反射して使用者の眼に、虚像を認識させる。このため、本実施形態では、表示領域はハーフミラー２６１Ａ、２６２Ａそのものではなく、ハーフミラー２６１Ａ、２６２Ａに反射した画像光を使用者が知覚する領域である。なお、画像表示部２０が、ハーフミラー２６１Ａ、２６２Ａに実際に画像を結像させる構成とした場合には、ハーフミラー２６１Ａ、２６２Ａが表示領域に相当する。表示領域は、右ＬＣＤ２４１及び左ＬＣＤ２４２に対応し、これらＬＣＤ２４１、２４２に表示される画像を使用者が視認する領域である。例えば、右ＬＣＤ２４１及び左ＬＣＤ２４２の表示可能な領域（表示可能領域）の全体に画像を表示すると、使用者に、表示領域の全体のサイズの画像を視認させることができる。

このように、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａにより、略四角形の表示画像が視認される。また、ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過する外景と、ハーフミラー２６１Ａ、２６２Ａで反射される画像光で構成される表示画像とが、重なって視認される。

右カメラ６１は、上記のように右保持部２１側の端部に、画像表示部２０の前方を向いて配置され、左カメラ６２は、左保持部２３側の端部に配置される。また、距離センサー６４は、右光学像表示部２６と左光学像表示部２８との中央において、前方を向いて配置される。
図５（Ｂ）は、右カメラ６１、左カメラ６２、及び距離センサー６４の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。右カメラ６１の画角（撮像範囲）をＣＲ、左カメラ６２の画角（撮像範囲）をＣＬで示す。なお、図３（Ｂ）には水平方向の画角ＣＲ、ＣＬを示すが、右カメラ６１及び左カメラ６２の実際の画角は、一般的なデジタルカメラと同様に上下方向に拡がる。

画角ＣＲと画角ＣＬとは、画像表示部２０の中央位置に対してほぼ左右対称であり、画角ＣＲと画角ＣＬは、いずれも画像表示部２０の中央位置の真正面方向を含む。このため、画像表示部２０の中央位置の正面で、画角ＣＲ、ＣＬが重なる。
例えば、図５（Ｂ）に示すように、画像表示部２０の正面方向に対象ＯＢがある場合、対象ＯＢは画角ＣＲ及び画角ＣＬのどちらにも含まれる。このため、右カメラ６１の撮像画像と、左カメラ６２の撮像画像のいずれも、対象ＯＢが写る。ここで、使用者が対象ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。
従って、注視点が対象ＯＢである場合、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。

また、ＨＭＤ１００を装着する使用者が画像表示部２０を透過して右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。本実施形態の構成で、実視野は、右光学像表示部２６及び左光学像表示部２８を透過して使用者が視認する実際の視野（後述する視野ＶＲ）に相当する。実視野は、図５（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。

右カメラ６１及び左カメラ６２は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角ＣＲ、ＣＬの全体が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角ＣＲ、ＣＬの全体が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角ＣＲ、ＣＬの全体が、使用者の安定注視野よりも広く、最も好ましくは、画角ＣＲ、ＣＬの全体が使用者の視野角よりも広い。

このため、右カメラ６１及び左カメラ６２は、画角ＣＲと画角ＣＬとが、図５（Ｂ）に示すように画像表示部２０の前方で重なるように配置される。また、右カメラ６１及び左カメラ６２を広角カメラで構成してもよい。すなわち、右カメラ６１及び左カメラ６２が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を右カメラ６１及び左カメラ６２が備えてもよい。また、右カメラ６１の画角ＣＲと左カメラ６２の画角ＣＬとは同じ角度でなくてもよい。また、右カメラ６１の撮像方向と左カメラ６２の撮像方向とは、完全に平行である必要はない。右カメラ６１の撮像画像と、左カメラ６２の撮像画像とを重ね合わせた場合に、使用者の視野よりも広い範囲が撮像されていればよい。

図５（Ｂ）には、距離センサー６４の検出方向を符号６４Ａで示す。本実施形態で、距離センサー６４は、画像表示部２０の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象ＯＢまでの距離を検出する。ＨＭＤ１００を装着した使用者は、注視する方向に頭を向けるため、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。

また、図５（Ａ）に示すように、画像表示部２０の使用者側には視線センサー６８が配置される。視線センサー６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けられる。視線センサー６８は、例えば、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラで構成される。視線センサー６８は、制御部１４０（図６）の制御に従って撮像を行い、制御部１４０が、撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。

図６は、ＨＭＤ１００を構成する各部の機能ブロック図である。
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１３５に接続される。操作部１３５は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
また、記憶部１２０は、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃが送受信する各種のデータを記憶する。

図７は、記憶部１２０が記憶するデータを模式的に示す図である。
記憶部１２０は、設定データ１２１、及び、送信先設定データ１２２を記憶する。また、記憶部１２０は、データを記憶する記憶領域として、送信データ記憶部１２６、及び、受信データ記憶部１２７を有する。送信データ記憶部１２６及び受信データ記憶部１２７は記憶部１２０の記憶領域を論理的あるいは仮想的に区切って設けることができ、例えばハードウェアとして区分される必要はない。

送信データ記憶部１２６は、ＨＭＤ１００が、他のＨＭＤ１００に対して送信するデータを記憶する。つまり、送信データ記憶部１２６が記憶するデータは通信部１１７により、他のＨＭＤ１００に送信される。一方、受信データ記憶部１２７は通信部１１７が受信したデータを記憶する。通信部１１７が受信するデータは、他のＨＭＤ１００から通信ネットワーク４を経由して送信されたデータである。

送信データ記憶部１２６は、送信用のデータとして、視界データ１３１、通知データ１３２、及び、動作案内データ１３３を記憶する。また、受信データ記憶部１２７は、通信部１１７が受信する視界データ１３１、通知データ１３２、動作案内データ１３３を記憶する。
送信データ記憶部１２６が記憶する視界データ１３１、通知データ１３２及び動作案内データ１３３は、それぞれ、受信データ記憶部１２７が記憶する視界データ１３１、通知データ１３２及び動作案内データ１３３と同一であってもよい。また、ヘッダー、属性、データフォーマット等が異なっていてもよい。

視界データ１３１は、右カメラ６１及び左カメラ６２の撮像画像データから一部を切り出したデータ、或いは撮像画像データの全体を含む画像データである。つまり、視界データ１３１は、使用者が見ている外界、すなわち視界の画像に相当する。視界データ１３１は静止画像データを含んでもよいし、動画像（映像）データを含んでもよく、音声データを含んでもよい。また、音声データを含み画像データを含まない構成としてもよい。ＨＭＤ１００は、視界データ１３１を送信することにより、使用者が見ている外界（視界）の画像を送信できる。また、ＨＭＤ１００は、他のＨＭＤ１００から送信される視界データ１３１を再生し表示することで、他のＨＭＤ１００の使用者が見ている視界を再現できる。

通知データ１３２は、ＨＭＤ１００において入力された内容を示すデータを含む。ＨＭＤ１００に対する入力は、後述するように、制御装置１０の操作による入力、音声認識を利用した音声入力、画像表示部２０に対するノック操作による入力、右カメラ６１及び左カメラ６２の撮像範囲に手等の指示体を写すことによるジェスチャー入力等である。通知データ１３２を送信することで、ＨＭＤ１００は、他のＨＭＤ１００に対して入力内容を送信できる。また、他のＨＭＤ１００から送信される通知データ１３２に基づく表示を行うことで、他のＨＭＤ１００における入力の内容を知ることができる。

図８は、記憶部１２０に記憶されるデータの構成例を示す模式図であり、（Ａ）は送信先設定データ１２２の例を示し、（Ｂ）は動作案内データ１３３の構成例を示す。
送信先設定データ１２２は、ＨＭＤ１００がデータを送信する送信先を定めるデータである。図１に示す表示システム１において、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは、データを送信する送信先について、それぞれ異なる制約を設けることができる。例えば、ＨＭＤ１００Ａは管理者ＵＡが装着して使用し、ＨＭＤ１００Ｂ、１００Ｃは作業者ＵＢ、ＵＣが装着する。使用者が管理者や作業者かに応じて、データの送信先を設定できる。送信先設定データ１２２では、送信先となるＨＭＤ１００を特定するＩＤと、送信するデータの種類とが対応付けて設定される。

図８（Ａ）は、作業者ＵＢが使用するＨＭＤ１００Ｂが有する送信先設定データ１２２の例である。ＨＭＤ１００Ｂは、ＨＭＤ１００Ａ（図中のＩＤ：０００１）に対しては視界データ１３１及び通知データ１３２を送信できる。また、ＨＭＤ１００Ｃ（図中のＩＤ：０００３）には通知データ１３２のみを送信できる。

同様の設定として、例えば、ＨＭＤ１００Ａが記憶する送信先設定データ１２２では、ＨＭＤ１００Ｂ、１００Ｃに対して通知データを送信できるよう設定される。また、例えば、ＨＭＤ１００Ｃが記憶する送信先設定データ１２２では、ＨＭＤ１００Ａに対して視界データ１３１と通知データ１３２を送信でき、ＨＭＤ１００Ｂに対して通知データ１３２を送信できる。
送信先設定データ１２２は、ＨＭＤ１００が記憶し送信するデータの一部について設定するデータであってもよい。例えば、後述する動作案内データ１３３は、送信先設定データ１２２の制約を受けず、表示システム１内の他のＨＭＤ１００に送信可能な構成とすることができる。

動作案内データ１３３は、ＨＭＤ１００を装着する使用者に対して動作を案内する表示や音声出力を行うためのデータである。動作案内データ１３３は、図８（Ｂ）に示すように、動作の内容を案内する案内情報１３３ａ、動作の実行順を指定する順序情報１３３ｂ、及び、動作の実行状態を示す状態情報１３３ｃを含む。

順序情報１３３ｂが示す動作の実行順序は、動作の相対的な順序であり、動作案内データ１３３が含む動作が一つの場合は順序が対応づけられなくてもよい。
動作案内データ１３３が含むそれぞれの動作は、項目（タイトル）が付され、図８（Ｂ）の例では順序情報１３３ｂを兼ねて作業１、作業２…の項目が付されている。動作とは、使用者が行う行動または行為を指し、使用者の身体の動きであってもよいし思考や判断を含んでもよい。動作案内データ１３３の一つの動作が、実際には複数の動作を含むシーケンスに対応してもよい。
案内情報１３３ａは、動作を行う使用者に対して動作の内容の説明等を行うために出力されるテキスト、静止画像、映像、音声等を含む。

状態情報１３３ｃは、動作案内データ１３３に含まれる動作の実行の履歴に関するデータである。例えば、状態情報１３３ｃは、案内情報１３３ａの進捗履歴や実行履歴に関するデータである。図８（Ｂ）の例では、状態情報１３３ｃは、動作が完了したことを示す「完了」、動作の実行が開始されてから完了するまでの間の状態を示す「実行中」および動作の実行が開始されていないことを示す「未実行」に設定される。
状態情報１３３ｃは、使用者の動作の進行に伴って変化する。後述するように、状態情報１３３ｃは、制御部１４０の制御により、動作の進行に伴って更新される。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。３軸センサー１１３により、制御部１４０は、制御装置１０の動きを検出することができ、例えば制御装置１０を振る等の操作を検出できる。また、３軸センサー１１３は９軸センサーに置き換えてもよい。この場合、制御部１４０は、３軸の加速度センサー、３軸の角速度センサー、及び３軸の地磁気センサーの検出値を取得し、例えば、制御装置１０の姿勢、向き、動きを検出できる。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０として機能する。また、撮像制御部１６１、入力認識部１６２（認識部）、ＡＲ表示制御部１６３、状態検出部１６４、通信制御部１６５、判定部１６６、音声処理部１８７、及び、表示制御部１９０として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、上記の右カメラ６１、左カメラ６２、及び距離センサー６４を備える。また、画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６と、視線センサー６８とを備える。

９軸センサー６６（動き検出部）は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、右カメラ６１、左カメラ６２、距離センサー６４、９軸センサー６６及び視線センサー６８を接続するインターフェイスである。右カメラ６１、左カメラ６２の撮像データ、距離センサー６４の検出結果、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー６８の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

撮像制御部１６１は、右カメラ６１及び左カメラ６２を制御して撮像を実行させ、撮像画像データを取得する。撮像制御部１６１は、右カメラ６１及び左カメラ６２のいずれか一方にのみ撮像を実行させてもよいし、両方に撮像を実行させてもよい。

入力認識部１６２は、ＨＭＤ１００に対する入力を検出し、認識する。入力認識部１６２は、入力情報取得部１１０から入力される信号に基づいて、操作部１３５に対する操作を検出する。また、入力認識部１６２は、マイク６３で集音された音声を音声処理部１８７が解析し、予め設定された音声コマンドであると判定された場合に、この音声コマンドの入力を検出する。また、入力認識部１６２は、右カメラ６１及び／又は左カメラ６２の撮像画像から、使用者の手等の指示体の画像を検出し、この指示体の位置、方向、或いは動きが予め設定されたジェスチャーに相当すると判定した場合に、ジェスチャー入力を検出する。また、入力認識部１６２は、画像表示部２０が備える９軸センサー６６の検出値のパターンが、画像表示部２０をノックする操作に該当すると判定した場合に、画像表示部２０に対するノック操作を入力として検出する。また、入力認識部１６２は、右カメラ６１及び／又は左カメラ６２の撮像画像から、二次元コードやバーコード等の入力用マーカーの画像を検出した場合に、マーカー読取入力を検出する。入力認識部１６２は、右カメラ６１及び／または左カメラ６２の撮像画像データから、指示体やマーカーを検出する場合に、視線センサー６８により検出される使用者の視線方向に対応する指示体やマーカーを検出してもよい。

また、ＨＭＤ１００は、使用者が足で操作するフットスイッチ（図示略）を備えた構成としてもよい。フットスイッチは制御部１４０または操作部１３５に有線接続されてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により通信部１１７に接続されてもよい。この場合、入力認識部１６２は、フットスイッチの操作を検出して入力として認識する。

ＡＲ表示制御部１６３は、記憶部１２０が記憶するデータを読み出し、画像処理部１６０及び表示制御部１７０を制御して、画像やテキストを画像表示部２０により表示させる。ここで、ＡＲ表示制御部１６３は、画像やテキストを、使用者の視野に存在する実空間の対象の位置に合わせて、ＡＲ表示してもよいし、３Ｄ（立体）表示してもよく、２Ｄ（平面）表示してもよい。また、ＡＲ表示制御部１６３は記憶部１２０から読み出したデータに基づき、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４から音声を出力させてもよい。

具体的には、ＡＲ表示制御部１６３は、受信データ記憶部１２７に記憶される視界データ１３１に基づいて、他のＨＭＤ１００の使用者の視界の静止画像または映像を表示する。ここで、音声を出力させてもよい。
また、ＡＲ表示制御部１６３は、受信データ記憶部１２７の動作案内データ１３３を読み出し、この動作案内データ１３３に基づいて、動作を案内する静止画像、動画像、テキスト等を表示する。ここで、ＡＲ表示制御部１６３は、複数の動作に対応する案内情報１３３ａを、順序情報１３３ｂで規定される順序に従って並べてリスト形式で、表示してもよい。また、案内情報１３３ａを、１つずつまたは設定された数ずつ、順序情報１３３ｂで規定される順序に従って、切り替えて表示してもよい。

状態検出部１６４は、ＡＲ表示制御部１６３が動作案内データ１３３に基づく表示を行う間に、動作案内データ１３３の案内情報１３３ａに対応する動作（作業）の実行状態を検出する。
状態検出部１６４が実行状態を検出する処理は、例えば、右カメラ６１及び／又は左カメラ６２の撮像画像データを解析して行われる。この場合、状態検出部１６４は撮像画像データから動作の対象や、動作に使用される器具、道具、使用者の身体等の少なくともいずれかを検出する。状態検出部１６４は、動作の対象、動作に使用される器具、道具、使用者の身体等の位置、サイズ、色、形状等に基づいて、動作の実行状態に関するデータを生成する。

また、状態検出部１６４は、動作案内データ１３３の項目についてＡＲ表示制御部１６３が表示する状態で、入力認識部１６２が検出する入力に基づき、項目に対応する動作の実行状態を検出してもよい。

入力認識部１６２が、右カメラ６１及び／または左カメラ６２の撮像画像データから、指示体やマーカーを検出する場合、予め設定された特徴量を使用してもよい。状態検出部１６４が右カメラ６１及び／または左カメラ６２の撮像画像データから動作の対象、動作に使用される器具、道具、使用者の身体等の位置、サイズ、色、形状等を検出する場合も同様である。この特徴量は、撮像画像から画像を検出する処理に用いるデータであり、画像の特徴量等である。例えば、物体である対象物を検出する場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、入力認識部１６２、状態検出部１６４は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、設定データ１２１に含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体を対象物として認識できる。また、対象物について複数の特徴量が設定データ１２１に含まれる場合、入力認識部１６２、状態検出部１６４は複数の特徴量に基づき外景画像から対象物を検出し、認識できる。

なお、入力認識部１６２や状態検出部１６４が画像から対象や指示体を認識する方法は、上記のように画像の特徴量に基づき対象物の画像を認識する方法に限定されない。例えば、使用者の指示により、外景画像に含まれる物体等から対象や指示体を選択してもよい。この場合、使用者の指示は、音声による指示であってもよく、マイク６３で集音された音声を音声処理部１８７がテキスト変換することにより、入力認識部１６２や状態検出部１６４が対象を認識し、特定するための情報を取得する。例えば、色や対象の形状など、撮像画像における対象物の特徴を指定する音声がテキスト変換された場合に、入力認識部１６２、状態検出部１６４は、指定された特徴に該当する画像を撮像画像から検出して、認識する。対象物に関する情報の入力方法は、上述したように、入力認識部１６２が検出可能な入力を利用できる。

判定部１６６は、ＨＭＤ１００の使用者の状態を判定する。より具体的には、使用者の状態が、ＨＭＤ１００から他のＨＭＤ１００へ通知データ１３２を送信すべき状態に該当するか否かを判定する。通知データ１３２を送信すべき状態と判定する基準、或いは条件は、予め設定され、例えば記憶部１２０に設定データとして記憶される。例えば、入力認識部１６２が所定の入力を検出し認識したことを、判定基準とすることができる。この場合、判定部１６６は、入力認識部１６２が予め設定された条件に該当する入力を認識した場合に、使用者の状態が、通知データ１３２を送信すべき状態であると判定する。

判定部１６６が判定に利用する基準、或いは条件は、入力認識部１６２が認識する入力に関する内容に限定されない。例えば、判定部１６６は、９軸センサー６６の検出値に基づいて使用者の頭部または身体の動きが予め設定された動きに該当するか否かを判定してもよい。また、視線センサー６８の検出値に基づいて使用者の視線の動きが予め設定された動きに該当するか否かを判定してもよい。また、筋電計（図示略）、脈拍測定装置（図示略）、血圧測定装置（図示略）、血中酸素濃度測定装置（図示略）等のバイタルセンサーをＨＭＤ１００に設け、これらのバイタルセンサーの測定値、検出値に基づき判定を行ってもよい。これらの場合、使用者が通知データ１３２の送信を意図していなくても、使用者の身体の状態を判定できる。例えば、使用者が、通知データ１３２の送信を希望していながら、入力認識部１６２が認識し得る入力を行うことができない状態である場合に、判定部１６６が使用者の状態を判定できる。
さらに、判定部１６６が、入力認識部１６２が認識する入力、９軸センサー６６や視線センサー６８の検出値、及び、バイタルセンサーの検出値について、学習を実行し、使用者の状態に関する判定の基準または条件を設定あるいは変更してもよい。この学習は、判定部１６６がＡＩ（Artificial Intelligence：人工知能）エンジンを有し、自律的に学習を行ってもよい。また、予め判定部１６６に設定されるアルゴリズムに従って、判定部１６６が、判定の基準あるいは条件を最適化してもよい。

図２に示した例で、作業者ＵＢの作業に支障が発生した場合、作業者ＵＢは管理者ＵＡまたは作業者ＵＣに通知データ１３２を送信することが適切であるが、作業者ＵＢが、支障を解消する作業に気を取られて、ＨＭＤ１００の操作を行えない可能性がある。この場合、作業者ＵＢの状態を判定することで、ラインにおける問題の発生の検出、及び、問題発生箇所の特定をすることができる。そして、他の作業者や管理者による援助等の対処が可能となる。そして、通知データ１３２を送信するとともに、右カメラ６１及び／又は左カメラ６２の撮像画像を送信することにより、発生した問題の状況を、当事者である作業者ＵＢ以外の管理者ＵＡや作業者ＵＣが、速やかに確認できる。

通信制御部１６５は、通信部１１７を制御して、通信ネットワーク４に接続される無線アクセスポイント（図示略）等との間の無線通信を実行させる。
なお、表示システム１を構成する複数のＨＭＤ１００が互いに近接した位置にある場合、すなわち、複数のＨＭＤ１００が、相互に通信部１１７が無線信号を送受信可能な範囲内にある場合、通信ネットワーク４を経由せずに、直接、通信部１１７と通信部１１７との間で無線通信を行ってもよい。

図９は、表示システム１の動作を示すフローチャートである。
以下の説明では図１及び図２に示したように、作業を管理する管理者ＵＡがＨＭＤ１００Ａを装着して使用し、作業者ＵＢがＨＭＤ１００Ｂを装着して使用し、作業者ＵＣがＨＭＤ１００Ｃを装着して使用する例を説明する。
図９（Ａ）はＨＭＤ１００Ｂの動作を示し、図９（Ｂ）はＨＭＤ１００Ａの動作を示す。

作業を開始するにあたり、ＨＭＤ１００Ａでは動作開始の指示が入力され（ステップＳ３１）、ＨＭＤ１００Ｂでも動作開始の指示が入力される（ステップＳ１１）。
ＨＭＤ１００Ａは、予め送信データ記憶部１２６に記憶された動作案内データ１３３を送信し（ステップＳ３２）、ＨＭＤ１００Ｂは動作案内データ１３３を受信して受信データ記憶部１２７に記憶する（ステップＳ１２）。

ＨＭＤ１００ＢのＡＲ表示制御部１６３は、受信データ記憶部１２７の動作案内データ１３３に基づいて、静止画像、動画像、テキスト等の表示及び／又は音声の出力等を開始する（ステップＳ１３）。これにより、ＨＭＤ１００Ｂを装着する作業者ＵＢは動作案内データ１３３に基づく案内に従って、対象ＯＢ（図２）に対する作業を行える。

また、ＨＭＤ１００Ｂの入力認識部１６２は、作業開始に合わせて、右カメラ６１及び／又は左カメラ６２による撮像と、音声処理部１８７による音声検出を開始する（ステップＳ１４）。

ＨＭＤ１００Ｂは、入力認識部１６２の機能により、右カメラ６１及び／又は左カメラ６２の撮像画像データから視界データ１３１を生成し、送信データ記憶部１２６に記憶し、この視界データ１３１をＨＭＤ１００Ａに送信する（ステップＳ１５）。視界データ１３１の生成及び送信の周期は、動作案内データ１３３や設定データ１２１に含まれるデータで指定される。

入力認識部１６２は、入力の検出の有無を判定する（ステップＳ１７）。入力を検出した場合（ステップＳ１７；ＹＥＳ）、入力認識部１６２は入力内容に対応する通知データ１３２を生成して送信データ記憶部１２６に記憶し、ＨＭＤ１００Ａに送信し（ステップＳ１８）、ステップＳ１９に移行する。また、入力が無いと判定した場合（ステップＳ１７；ＮＯ）、入力認識部１６２はステップＳ１９に移行する。

ステップＳ１９で、状態検出部１６４は、動作状態が変化したか否かを判定する（ステップＳ１９）。動作が開始された場合、動作が完了した場合など、動作状態が変化した場合（ステップＳ１９；ＹＥＳ）、状態検出部１６４は、受信データ記憶部１２７に記憶した動作案内データ１３３の状態情報１３３ｃを更新し（ステップＳ２０）、ステップＳ２１に移行する。また、動作状態が変化しない場合（ステップＳ１９；ＮＯ）、ステップＳ２１に移行する。

ＨＭＤ１００Ａは、ＨＭＤ１００Ｂから視界データ１３１が送信された場合に、この視界データ１３１を受信して受信データ記憶部１２７に記憶する（ステップＳ３４）。ＨＭＤ１００ＡのＡＲ表示制御部１６３は、受信した視界データ１３１に基づき、ＨＭＤ１００Ｂの作業者ＵＢの視界に相当する静止画像、動画像、音声等を出力する（ステップＳ３５）。

また、ＨＭＤ１００Ａは、ＨＭＤ１００Ｂから通知データ１３２が送信された場合に、この通知データ１３２を受信して受信データ記憶部１２７に記憶する（ステップＳ３６）。ＨＭＤ１００ＡのＡＲ表示制御部１６３は、受信した通知データ１３２に基づき、ＨＭＤ１００Ｂにおける入力内容を示すテキスト、静止画像、動画像、音声等を出力する（ステップＳ３７）。

ＨＭＤ１００Ａの入力認識部１６２は、入力の検出の有無を判定する（ステップＳ３８）。入力を検出した場合（ステップＳ３８；ＹＥＳ）、入力認識部１６２は入力内容に対応する通知データ１３２を生成して送信データ記憶部１２６に記憶し、ＨＭＤ１００Ｂに送信し（ステップＳ３９）、ステップＳ４０に移行する。また、入力が無いと判定した場合（ステップＳ３８；ＮＯ）、入力認識部１６２はステップＳ４０に移行する。

ステップＳ３９で、ＨＭＤ１００Ａの入力認識部１６２は、通知データ１３２を複数のＨＭＤ１００Ｂ、１００Ｃに同時に送信してもよい。この場合、複数のＨＭＤ１００Ｂ、１００Ｃに同じ通知データ１３２を送信してもよいし、異なる通知データ１３２を生成して送信してもよい。送信先は、その度、管理者ＵＡの入力により指定してもよいし、送信先設定データ１２２により従って決定してもよい。

ステップＳ２３で、ＨＭＤ１００Ｂの制御部１４０は、終了の条件が成立したか否かを判定する（ステップＳ２３）。終了の条件は、ステップＳ１２で受信した動作案内データ１３３に含まれる全ての動作が完了した場合、入力認識部１６２により終了の指示の入力を検出した場合等である。終了の条件が成立しない場合（ステップＳ２３；ＮＯ）、制御部１４０はステップＳ１５に戻る。また、終了の条件が成立した場合（ステップＳ２３；ＹＥＳ）、制御部１４０は本処理を終了する。処理の終了時に、制御部１４０は、受信データ記憶部１２７に記憶した動作案内データ１３３を、送信データ記憶部１２６にコピーして、ＨＭＤ１００Ａに送信してもよい。また、動作を終了することをＨＭＤ１００Ａに通知する通知データ１３２を送信してもよい。

ステップＳ４０で、ＨＭＤ１００Ａの制御部１４０は、終了の条件が成立したか否かを判定する（ステップＳ４０）。終了の条件は、ＨＭＤ１００Ｂから動作を終了することが通知された場合、入力認識部１６２により終了の指示の入力を検出した場合等である。終了の条件が成立しない場合（ステップＳ４０；ＮＯ）、制御部１４０はステップＳ３４に戻る。また、終了の条件が成立した場合（ステップＳ４０；ＹＥＳ）、制御部１４０は本処理を終了する。なお、処理の終了時に、制御部１４０は、表示システム１に含まれる他の全てのＨＭＤ１００に対して、終了を通知する通知データ１３２を送信してもよい。この場合、管理者ＵＡが使用するＨＭＤ１００Ａ以外のＨＭＤ１００が、ＨＭＤ１００Ａから終了を通知する通知データ１３２を受信した場合に動作を終了するよう設定されていてもよい。

なお、図９（Ａ）に示すフローチャートでは、ＨＭＤ１００Ｂで入力を検出し（ステップＳ１７）、動作状態の変化を検出し（ステップＳ１９）、通知データ１３２を受信し（ステップＳ２１）、終了を判定する（ステップＳ２３）処理を、各ステップで順次行う構成とした。本発明はこれに限定されず、上述した各ステップの動作は、割り込み処理としてもよい。つまり、ＨＭＤ１００Ｂの制御部１４０は、ステップＳ１１で動作を開始した後、入力の検出（ステップＳ１７）、動作状態の変化の検出（ステップＳ１９）、通知データ１３２の受信（ステップＳ２１）、終了の指示（ステップＳ２３）を待機する。そして、入力や動作を検出した場合に、ステップＳ１７、Ｓ１９、Ｓ２１、Ｓ２３の動作を割り込み処理として開始してもよい。図９（Ｂ）のステップＳ３４、Ｓ３８、Ｓ３９、Ｓ４０も同様である。

図１０は、表示システム１の動作を示すフローチャートであり、動作を実行する作業者ＵＢ、ＵＣが使用するＨＭＤ１００Ｂ、１００Ｃの間で、動作に関するデータを引き継ぐ動作を示す。図１０（Ａ）はＨＭＤ１００Ｂの動作を示し、図１０（Ｂ）はＨＭＤ１００Ｃを示し、ＨＭＤ１００ＢからＨＭＤ１００Ｃに動作を引き継ぐ例を示す。
図１０の動作は、ＨＭＤ１００Ｂが動作案内データ１３３に従って動作を実行する間、すなわち、図９（Ａ）のステップＳ１３〜Ｓ２３の間に実行される。

ＨＭＤ１００Ｂの入力認識部１６２は、動作引継を指示する入力を検出し（ステップＳ５１）、動作を引き継ぐＨＭＤ１００に対する動作の引継要請の入力を検出する（ステップＳ５２）。入力認識部１６２は、動作の引継の要請に関する入力内容に基づき、通知データ１３２を生成して送信データ記憶部１２６に記憶し、ＨＭＤ１００Ｃに送信する（ステップＳ５３）。

ＨＭＤ１００ＣのＡＲ表示制御部１６３は、ＨＭＤ１００Ｂから通知データ１３２を受信して受信データ記憶部１２７に記憶し（ステップＳ６１）、受信した通知データ１３２に基づきテキスト、静止画像、映像、音声等を出力する（ステップＳ６２）。

ＨＭＤ１００Ｂの制御部１４０は、受信データ記憶部１２７に記憶した動作案内データ１３３を送信データ記憶部１２６にコピーして、ＨＭＤ１００Ｂに送信する（ステップＳ５４）。この動作案内データ１３３は、受信データ記憶部１２７に記憶されＨＭＤ１００Ｂにおける動作の進行に伴って更新されたデータである。
ＨＭＤ１００Ｃの制御部１４０は、動作案内データ１３３を受信して受信データ記憶部１２７に記憶する（ステップＳ６３）。ＡＲ表示制御部１６３は、動作案内データ１３３を受信したことの通知を生成してＨＭＤ１００Ｂに送信し（ステップＳ６４）、受信した動作案内データ１３３に基づいて、静止画像、動画像、テキスト等の表示及び／又は音声の出力等を開始する（ステップＳ６５）。ここで、ＡＲ表示制御部１６３は、受信した動作案内データ１３３に含まれる状態情報１３３ｃに従って、実行中または未実行の動作から、案内情報１３３ａを出力する。従って、ＨＭＤ１００Ｃを装着する作業者ＵＣは、ＨＭＤ１００Ｂを装着する作業者ＵＢが実行した動作の続きから、動作案内データ１３３に基づく案内に従って対象ＯＢ（図２）に対する作業を行える。

また、ＨＭＤ１００Ｂの制御部１４０は、ＨＭＤ１００Ｃから動作案内データ１３３の受信に関する通知を受信し（ステップＳ５５）、本処理を終了する。ここで、ＨＭＤ１００Ｂの制御部１４０は、受信データ記憶部１２７に記憶した動作案内データ１３３を消去してもよい。また、送信データ記憶部１２６に記憶した動作案内データ１３３も消去してもよい。これにより、複数のＨＭＤ１００が重複して保持されなくなるので、動作の混乱を避けることができる。
なお、ステップＳ１１、Ｓ１２における動作引継の指示、及び要請の入力は、ＨＭＤ１００Ａにおいて行ってもよい。この場合、動作引継を指示する通知データ１３２が、ＨＭＤ１００Ａから、ＨＭＤ１００Ｂ及びＨＭＤ１００Ｃに送信され、この通知データ１３２に従ってＨＭＤ１００ＢとＨＭＤ１００Ｃが図１０の動作を開始すればよい。

図１１は、表示システムにおける表示例を示す図である。図１１（Ａ）はＨＭＤ１００Ｂ、１００Ｃが作業者ＵＢ、ＵＣに対して表示する例を示し、図１１（Ｂ）はＨＭＤ１００Ｂ、１００Ｃが作業者ＵＢ、ＵＣに対して表示する別の例を示す。図１１（Ｃ）はＨＭＤ１００Ａにおいて表示される例を示す。
図１１（Ａ）〜（Ｃ）では、ＶＲは使用者（管理者ＵＡ、作業者ＵＢ、ＵＣ）の視野を示し、Ｖ１は、ＨＭＤ１００が画像を表示して使用者に視認させることが可能な領域、すなわち画像表示部２０の表示領域を示す。表示領域Ｖ１は、たとえば、使用者の視野ＶＲのほぼ中央に位置し、視野ＶＲよりも狭い。表示領域Ｖ１は視野ＶＲと同じサイズであってもよく、サイズ及び位置は図１１（Ａ）〜（Ｃ）の例に限定されない。

図１１（Ａ）では、ＡＲ表示制御部１６３は、動作案内データ１３３の案内情報１３３ａを一覧表示するリストＳＲを表示する。リストＳＲは、動作案内データ１３３に含まれる案内情報１３３ａを、順序情報１３３ｂで指定される順序に従って並べたリストである。リストＳＲには、案内情報１３３ａのタイトルと内容を表示してもよい。また、順序情報１３３ｂで指定される順序を表示してもよい。
リストＳＲには、案内情報１３３ａの表示位置に対応づけて、チェックボックスＣＨが配置される。チェックボックスＣＨは、動作案内データ１３３の動作が完了したことを示す。ＡＲ表示制御部１６３は、状態検出部１６４が動作の完了を検出した場合に、チェックボックスＣＨの表示状態を、動作完了を示す状態に変更する。これに伴い、状態検出部１６４は、受信データ記憶部１２７の動作案内データ１３３において状態情報１３３ｃを更新すればよい。動作案内データ１３３が含む案内情報１３３ａが１つの場合、リストＳＲは一つの動作の内容とチェックボックスＣＨとを含む構成となる。

リストＳＲは、チェックボックスＣＨを有しない構成とすることもできる。この場合、ＡＲ表示制御部１６３は、状態検出部１６４により動作が完了したことが検出された項目を、リストＳＲから削除してもよい。また、リストＳＲにおける表示色や表示輝度を変化させてもよい。

図７（Ｂ）の例は、動作案内データ１３３の案内情報１３３ａを一つ、または予め設定された数ずつ表示する例である。この例では、表示領域Ｖ１に、案内情報１３３ａを１つずつ、吹き出し形式の表示部Ｄに表示する。表示部Ｄの端部を、対象ＯＢにおいて動作の対象となる位置を示す矢印形式としてもよい。また、表示部Ｄに表示された案内情報１３３ａに対応する動作の対象の位置に、マーカーＭを表示してもよい。図１１（Ｂ）の例では、表示部Ｄに表示された案内情報１３３ａに対応する動作が完了したことが状態検出部１６４により検出されると、ＡＲ表示制御部１６３は、動作案内データ１３３に含まれる次の順序の案内情報１３３ａを表示部Ｄに表示する。このように、表示部Ｄには、案内情報１３３ａが、項目の動作の実行順に従って、順次、表示される。

リストＳＲや表示部Ｄの表示位置、表示態様は、適宜に変更可能であり、例えば、リストＳＲや表示部Ｄを、動作案内データ１３３の項目に対応する動作の対象ＯＢに重なる位置に表示してもよい。また、対象ＯＢに重ならない位置に表示すれば、動作の妨げにならず、項目を見ながら動作しやすくなるという利点がある。また、リストＳＲや表示部Ｄを３Ｄ（立体）表示してもよいし、２Ｄ（平面）画像として表示してもよい。さらに、リストＳＲや表示部Ｄを、右表示駆動部２２と左表示駆動部２４のいずれか一方にのみ表示してもよい。

また、図１１（Ａ）、（Ｂ）では、表示領域Ｖ１に、視線センサー６８により検出した使用者の視線方向を示すポインターＰを表示してもよい。

図１１（Ｃ）の例は、ＨＭＤ１００Ａが、ＨＭＤ１００Ｂ、１００Ｃから送信される視界データ１３１に基づく静止画像を表示する例である。表示領域Ｖ１には、ＨＭＤ１００Ｂの視界データ１３１に基づく視界表示ＶＷ１と、ＨＭＤ１００Ｃの視界データ１３１に基づく視界表示ＶＷ２とが並べて表示される。視界表示ＶＷ１、ＶＷ２には、それぞれ、送信元のＨＭＤ１００Ｂ、１００Ｃを示すＩＤが対応付けて表示される。この場合、管理者ＵＡは、作業者ＵＢ、ＵＣの視界を同時に見ることが可能である。
また、視界表示ＶＷ１、ＶＷ２のそれぞれには、作業者ＵＢの視線方向、及び、作業者ＵＣの視線方向を示すポインターＰが表示される。ポインターＰの表示位置を示すデータが視界データ１３１に含まれていれば、ポインターＰを表示できる。

このように、表示システム１では、複数のＨＭＤ１００のうち、管理者用のＨＭＤ１００として予め設定されたＨＭＤ１００Ａにおいて、他のＨＭＤ１００Ｂ、１００Ｃの視界を画像として表示できる。また、ＨＭＤ１００Ｂ、１００Ｃで入力された内容、または入力に対応する内容が、通知データ１３２としてＨＭＤ１００Ａに送信され、ＨＭＤ１００Ａで出力できる。従って、表示システム１では、動作を実行する複数の実行者について、動作案内データ１３３により動作を支援し、動作の実行状況を把握できる。

ＨＭＤ１００における入力は、上述したように音声で入力することができ、ジェスチャーを検出してＧＵＩ操作を可能とすることもできる。また、フットスイッチによる入力や画像表示部２０に対するノック操作も可能である。入力認識部１６２には、フットスイッチの入力、ノック操作の入力に対応する入力内容が、予め設定されてもよい。例えば、フットスイッチがオンにされた場合に、予め設定データ１２１により設定されたメッセージが通知データ１３２として送信されてもよい。また、例えば、画像表示部２０のノック操作により、右カメラ６１及び左カメラ６２の撮像画像データが、メッセージとともに、或いは、設定された画像処理が施された状態で、通知データ１３２としてＨＭＤ１００Ａに送信されてもよい。この場合、フットスイッチやノック操作、或いは他の入力操作により、管理者ＵＡに対する緊急連絡や、支援の要求などを行うことができる。また、フットスイッチの入力、ノック操作の入力または他の入力を検出した場合の送信先を、送信先設定データ１２２により設定してもよい。この場合、例えば緊急時に、１つのＨＭＤ１００から他の全てのＨＭＤ１００に対し、緊急のメッセージを送信して、表示させることができる。

そして、複数のＨＭＤ１００による作業者（実行者）の支援や管理を、別室や遠隔地に設けられた管理者用のサイトＡで、ＨＭＤ１００Ａにより管理でき、実行者の視点及び動作内容を確認できる。作業ラインＦＡでの作業について、ＨＭＤ１００を装着した実行者ごとのロスタイムの測定、作業不具合による不良発生の発見等を迅速に行える。この場合、作業ラインＦＡのロスタイムを低減できトータルスループットを向上させることができる。

また、複数のＨＭＤ１００で動作案内データ１３３に基づく出力を行うことで、作業支援の画像を教示画像として表示させ、作業順序の統一、作業者毎の同期を図ることができる。実行者の交代が必要な場合、図１０で説明したように、ＨＭＤ１００の間で作業の引き継ぎができ、同じ作業手順を引き継げる。

さらに、表示システム１を活用することで、通信ネットワーク４で相互に接続されたＨＭＤ１００の間で、いずれかのＨＭＤ１００を使用する作業者が手空き状態なのか否かを、判定できる。このため、手空き状態の作業者のサイトに、必要な部材を効率良く供給できるように、管理者ＵＡが情報を発信することが可能である。

また、ＨＭＤ１００ＡからＨＭＤ１００Ｂ、１００Ｃに通知データ１３２を送信し通知を出力させる機能を利用して、画像表示部２０に、必要部材の供給を促す合図としてのインジケーターを表示させてもよい。このように、ＨＭＤ１００の装着者の間で情報交換を行うことで、部品の供給、作業の引き継ぎ等がスムーズに行われ、連続して一連の作業が継続できる。

図１２は、本発明の具体的な適用例を示す説明図である。図２に示した作業ラインのように、複数の作業者ＵＢ、ＵＣ、ＵＤがＨＭＤ１００を装着し、管理者ＵＡがＨＭＤ１００を装着し、作業者ＵＢ、ＵＣ、ＵＤが管理者ＵＡの管理のもとに作業をする例である。管理者ＵＡが装着するＨＭＤ１００をＨＭＤ１００Ａとし、作業者ＵＢ、ＵＣ、ＵＤが装着するＨＭＤ１００をＨＭＤ１００Ｂ、１００Ｃ、１００Ｄとする。それぞれのＨＭＤ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄは上述したＨＭＤ１００の構成を有する。

作業者ＵＢの作業に関して支障が発生し、ＨＭＤ１００Ｂの判定部１６６が、作業者ＵＢの状態が通知データ１３２を送信するべき状態と判定した場合、図１２（Ａ）に示すようにＨＭＤ１００ＢからＨＭＤ１００Ａに対し通知データ１３２が送信される（ステップＳＴ１）。通知データ１３２の送信先は上述の送信先設定データ１２２により設定され、例えば、ＨＭＤ１００Ａ、１００Ｃ、１００Ｄを含むグループである。この通知データ１３２により、管理者ＵＡ、作業者ＵＣ、ＵＤは作業者ＵＢに支障が発生したことを知ることができる。

続いて、図１２（Ｂ）に示すように、管理者ＵＡの操作によりＨＭＤ１００Ａから指示を含む通知データ１３２がＨＭＤ１００Ｃに送信される（ステップＳＴ２）。或いは、作業者ＵＣの操作によりＨＭＤ１００ＣからＨＭＤ１００Ａに、支援の申し出の通知データ１３２が送信される（ステップＳＴ３）。この相互の通知データ１３２の送受信により、作業者ＵＣが作業者ＵＢの代替を行うことが決定される。

その後、図１２（Ｃ）に示すように、作業者ＵＣが作業者ＵＢを代替することを示す通知データ１３２が、管理者ＵＡの操作により、ＨＭＤ１００ＡからＨＭＤ１００Ｂ及びＨＭＤ１００Ｄに送信される（ステップＳ４）。

そして、作業ラインから作業者ＵＢが離脱して、作業者ＵＣが作業者ＵＢの代わりに作業サイトに移動する。ここで、作業者ＵＣの入力により、ＨＭＤ１００Ｂから、ＨＭＤ１００Ａ及びＨＭＤ１００Ｄに対し、交代完了を示す通知データ１３２が送信される。
また、図１２（Ｃ）と図１２（Ｄ）の状態の間で、作業者ＵＢが離脱する際に、ＨＭＤ１００ＢからＨＭＤ１００Ｃに対し、動作案内データを送信してもよい。

このように、本発明を適用することで、ライン作業での1台の使用者のロスタイム、作業不具合による不良発生を迅速に発見でき、ライン全体のロスタイムを低減できトータルスループットを向上させることができる。それぞれの作業者は、自分の作業、行動の動作を簡単に早く他のＨＭＤ装着者と互いに共有、確認でき、チーム作業、行動、の確度を向上させることができる。そして、ＨＭＤ１００を装着する使用者どうしで情報を共有し、ＨＭＤ１００が他のＨＭＤ１００と並列的に、ループ的に、或いは直列的に情報共有化することができる。また、管理者は、作業ラインの近傍に限らず、管理が可能な位置であればどこにいてもよく、この管理者のＨＭＤ１００が独占的に情報を集約し管理することも可能である。例えば、送信先設定データ１２２の設定、判定部１６６の判定の基準や条件により、情報共有の範囲や手順をＴＰＯ（使用用途）により使い分けができる。

以上説明したように、本発明を適用した実施形態に係る表示システム１は、複数の頭部装着型のＨＭＤ１００を備える。ＨＭＤ１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、他のＨＭＤ１００と通信する通信部１１７とを備える。ＨＭＤ１００は、使用者の視界と重なる範囲を撮像する右カメラ６１、左カメラ６２と、使用者の状態を判定する判定部１６６と、制御部１４０と、を備える。制御部１４０は、撮像画像に基づき視界データ１３１を他のＨＭＤ１００に送信し、判定部１６６の判定結果に応じて、通信部１１７により他のＨＭＤ１００に通知データ１３２を送信する。また、他のＨＭＤ１００から送信されるデータに基づき画像表示部２０に表示を実行させる。このため、表示システム１で、複数のＨＭＤ１００の間で視界に関するデータと入力に関するデータとを共有できる。これにより、複数の使用者がＨＭＤ１００を装着することにより、視界と操作とを共有できる。例えば、動作を行う人と動作を支援する人が互いに頭部装着型のＨＭＤ１００を装着することで、動作に関する多くの情報をよりわかりやすく伝達できる。従って、使用者が、他の使用者に対し作業等を支援し、或いは、作業等の実行状態の管理を容易に、的確に行うことができる。

また、入力認識部１６２は、音声処理部１８７により検出される音声に基づき入力を認識するので、ＨＭＤ１００において音声による入力を行うことができ、複数のＨＭＤ１００の間で、より容易に情報を伝達できる。
制御部１４０は、音声処理部１８７により検出される音声に基づき入力認識部１６２が認識する入力を示すデータを他のＨＭＤ１００に送信する。これにより、ＨＭＤ１００に対して音声により入力された内容を、他のＨＭＤ１００を装着する使用者に知らせることができる。

また、ＨＭＤ１００は、入力を認識する入力認識部１６２を備え、判定部１６６は、入力認識部１６２が認識する入力に基づき使用者の状態を判定する。このため、使用者または他の人による入力を認識して、使用者の状態を適切に判定できる。また、使用者または他の人は、入力を認識させることで、意図的に通知データを他の装置に送信させることができる。

画像表示部２０の動きを検出する９軸センサー６６を備え、入力認識部１６２は、９軸センサー６６が検出する動きに基づき入力を認識してもよく、この場合、画像表示部２０または画像表示部２０を装着した使用者の動きによる入力を行うことができる。
入力認識部１６２は、右カメラ６１、左カメラ６２の撮像画像に基づき入力を認識してもよく、この場合、より容易に入力を行うことができる。
また、制御部１４０は、動作を案内する案内情報１３３ａ、動作の実行順を指定する順序情報１３３ｂ、及び、動作の実行状態を示す状態情報１３３ｃを含む動作案内データ１３３を再生する再生処理を行う。この再生処理において画像表示部２０にテキスト、静止画像、動画像等の表示を実行する。入力認識部１６２で認識する入力に基づいて再生中の動作案内データ１３３の状態情報１３３ｃを更新し、通信部１１７によって、再生処理を行った動作案内データ１３３を他のＨＭＤ１００に送信する。これにより、ＨＭＤ１００を装着して動作を実行する使用者に対して動作を案内でき、この案内に従って動作をした記録を含むデータを、他のＨＭＤ１００が引き継いで使用できる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

上記各実施形態において、使用者が表示部を透過して外景を視認する構成は、右光学像表示部２６及び左光学像表示部２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、右カメラ６１及び／又は左カメラ６２の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、ＡＲ表示、ＭＲ表示、或いはＶＲ表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

本発明でいう「表示部」は、画像光を出射する構成に相当し、以下の説明ではＨＭＤ１００が画像光を出射することを、「表示する」と呼ぶ。
上記各実施形態では、図５を参照して説明した左右の画像光生成部により画像光を生成し、図３に示す右光学像表示部２６及び左光学像表示部２８によって、使用者の右眼と左眼のそれぞれに向けて画像光を照射し、使用者の右眼と左眼のそれぞれに画像光を入射させる構成を例示する。「表示部」の構成はこれに限定されない。すなわち、画像光を照射するものであれば、図の構成に限定されない。例えば本実施形態の構成では、ハーフミラー２６１Ａ、２６２Ａを有する「右導光部」及び「左導光部」によって、使用者の眼に向けて画像光を出射する。また、画像光を生成する構成として、右バックライト２２１及び左バックライト２２２と、右ＬＣＤ２４１及び左ＬＣＤ２４２とを備える。「表示部」はこれらの構成を必須としない。

例えば、画像表示部２０の右表示駆動部２２及び左表示駆動部２４のいずれか、又は両方に内蔵する機構によって生成される画像光を、画像表示部２０の使用者側すなわち使用者の眼を向く側に設けられる反射機構により反射して、使用者の眼に出射してもよい。ここで、反射機構は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを用いた走査光学系を採用することもできる。すなわち、画像光生成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系を備え、この走査光学系で走査される光が使用者の眼に直接入射する構成としてもよい。また、走査光学系により走査される光によって虚像が形成される光学部材を、画像表示部２０に設けてもよい。この光学部材はＭＥＭＳミラーが走査する走査光による虚像を形成する。この場合、ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が視認（認識）される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、走査光学系はＭＥＭＳミラーを備えた構成に限定されない。画像光を生成する機構も、レーザー光を発するレーザー光源であってもよい。例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、走査される光を受ける虚像形成面に代えて、回折格子を用いて使用者の眼に画像光を導く構成であってもよい。つまり、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／又は反射させて導く機能のみを有するものであってもよい。

ＭＥＭＳ等を有する走査光学系を備えた構成では、画像表示部２０における走査光学系の取り付け角度を変更することで、使用者が画像を視認する位置、すなわち画像の表示位置を変更できる。従って、上記各実施形態で表示位置を変更する処理において、右ＬＣＤ２４１、左ＬＣＤ２４２における画像の表示位置を変更する動作に代えて、走査光学系の角度を変更する動作を行ってもよい。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。

また、上記各実施形態では使用者の眼前に位置する右光学像表示部２６及び左光学像表示部２８の一部に、ハーフミラー２６１Ａ、２６２Ａにより虚像が形成される構成を例示した。本発明はこれに限定されず、右光学像表示部２６及び左光学像表示部２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図６に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図６に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７、インターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１３５のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図６に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１…表示システム、４…通信ネットワーク、１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２５…インターフェイス、２６…右光学像表示部、２８…左光学像表示部、６１…右カメラ（撮像部）、６２…左カメラ（撮像部）、６６…９軸センサー（動き検出部）、６８…視線センサー、１００、１００Ａ、１００Ｂ、１００Ｃ…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１２１…設定データ、１２２…送信先設定データ、１２５…インターフェイス、１２６…送信データ記憶部、１２７…受信データ記憶部１２７、１３１…視界データ、１３２…通知データ、１３３…動作案内データ、１３３ａ…案内情報、１３３ｂ…順序情報、１３３ｃ…状態情報、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…撮像制御部、１６２…入力認識部（認識部）、１６３…ＡＲ表示制御部、１６４…状態検出部、１６５…通信制御部、１８７…音声処理部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、２６１Ａ、２６２Ａ…ハーフミラー。

Claims (9)

1. 複数の頭部装着型の表示装置を備えるシステムであって、
   前記表示装置は、
   使用者に画像を視認させるとともに外景を透過する表示部と、
   他の複数の前記表示装置と通信する通信部と、
   前記使用者の視界と重なる範囲を撮像する撮像部と、
   前記使用者の状態に関する判定を行う判定部と、
   入力を認識する認識部と、
   音声を検出する音声処理部と、
   制御部と、
   送信先に対応する他の複数の前記表示装置毎に、前記送信先となる表示装置を特定するＩＤと、送信するデータの種類とが対応付けられて記憶されている送信データ記憶部と、
   を備え、
   前記送信するデータの種類は、視界データと、通知データとであり、
   前記制御部は、前記撮像部の撮像画像に基づき前記視界データを生成し、
   前記認識部は、前記音声処理部により検出される音声に基づき入力を認識し、
   前記制御部は、前記音声処理部により検出される音声に基づき前記認識部が認識する入力に対応する前記通知データを生成し、
   前記判定部は、前記認識部が認識する入力に基づき前記使用者の状態を判定し、
   前記制御部は、前記判定部の判定結果に基づき、前記送信先に対応する他の複数の前記表示装置の各々に、前記ＩＤと対応付けられて記憶された種類のデータを送信し、
   他の複数の前記表示装置から送信されるデータに基づき前記表示部に表示すること、
   を特徴とする表示システム。
2. 前記判定部は、前記使用者の動作に基づき、前記使用者の状態が予め設定された通知を行うべき状態に該当するかを判定し、
   前記判定部が、前記使用者の状態が通知を行うべき状態に該当すると判定した場合に、前記制御部が前記通信部により他の複数の前記表示装置に通知データを送信させること、
   を特徴とする請求項１記載の表示システム。
3. 前記表示部の動きを検出する動き検出部を備え、
   前記認識部は、前記動き検出部が検出する動きに基づき入力を認識すること、
   を特徴とする請求項１記載の表示システム。
4. 前記認識部は、前記撮像部の撮像画像に基づき入力を認識すること、
   を特徴とする請求項１又は３に記載の表示システム。
5. 前記制御部は、動作を案内する案内情報、前記動作の実行順を指定する順序情報、及び、前記動作の実行状態を示す状態情報を含む動作案内データを再生する再生処理を行い、
   前記再生処理において前記表示部に表示を実行し、前記認識部で認識する入力に基づいて再生中の前記動作案内データの状態情報を更新し、
   前記通信部によって、前記再生処理を行った前記動作案内データを他の複数の前記表示装置に送信すること、
   を特徴とする請求項１から４のいずれかに記載の表示システム。
6. 前記撮像部は、前記使用者が注視する方向と重なる範囲を撮像すること、
   を特徴とする請求項１から５のいずれかに記載の表示システム。
7. 頭部装着型の表示装置において、
   使用者に画像を視認させるとともに外景を透過する表示部と、
   他の複数の前記表示装置と通信する通信部と、
   前記使用者の視界と重なる範囲を撮像する撮像部と、
   前記使用者の状態に関する判定を行う判定部と、
   入力を認識する認識部と、
   音声を検出する音声処理部と、
   制御部と、
   送信先に対応する他の複数の前記表示装置毎に、前記送信先となる表示装置を特定するＩＤと、送信するデータの種類とが対応付けられて記憶されている送信データ記憶部と、
   を備え、
   前記送信するデータの種類は、視界データと、通知データとであり、
   前記制御部は、前記撮像部の撮像画像に基づき前記視界データを生成し、
   前記認識部は、前記音声処理部により検出される音声に基づき入力を認識し、
   前記制御部は、前記音声処理部により検出される音声に基づき前記認識部が認識する入力に対応する前記通知データを生成し、
   前記判定部は、前記認識部が認識する入力に基づき前記使用者の状態を判定し、
   前記制御部は、前記判定部の判定結果に基づき、前記送信先に対応する他の複数の前記表示装置の各々に、前記ＩＤと対応付けられて記憶された種類のデータを送信し、
   他の複数の前記表示装置から送信されるデータに基づき前記表示部に表示すること、
   を特徴とする表示装置。
8. 使用者に画像を視認させるとともに外景を透過する表示部を備える頭部装着型の表示装置において、
   送信先に対応する他の複数の前記表示装置毎に、前記送信先となる表示装置を特定するＩＤと、送信するデータの種類とが対応付けられて記憶されており、
   前記送信するデータの種類は、視界データと、通知データとであり、
   前記使用者の視界と重なる範囲を撮像し、
   撮像画像に基づき前記視界データを生成し、
   音声を検出し、検出された音声に基づき入力を認識し、
   認識された入力に対応する前記通知データを生成し、
   前記認識された入力に基づき前記使用者の状態を判定し、
   前記使用者の状態に関する判定結果に基づき、前記送信先に対応する他の複数の前記表示装置の各々に、前記ＩＤと対応付けられて記憶された種類のデータを送信し、
   他の複数の前記表示装置から送信されるデータに基づき前記表示部に表示すること、
   を特徴とする表示装置の制御方法。
9. 使用者に画像を視認させるとともに外景を透過する表示部を備える頭部装着型の表示装置を制御するコンピューターが実行可能なプログラムであって、
   送信先に対応する他の複数の前記表示装置毎に、前記送信先となる表示装置を特定するＩＤと、送信するデータの種類とが対応付けられて記憶されており、
   前記送信するデータの種類は、視界データと、通知データとであり、
   前記コンピューターにより、
   前記使用者の視界と重なる範囲を撮像し、
   撮像画像に基づき前記視界データを生成し、
   音声を検出し、検出された音声に基づき入力を認識し、
   認識された入力に対応する前記通知データを生成し、
   前記認識された入力に基づき前記使用者の状態を判定し、
   前記使用者の状態に関する判定結果に基づき、前記送信先に対応する他の複数の前記表示装置の各々に、前記ＩＤと対応付けられて記憶された種類のデータを送信し、
   他の複数の前記表示装置から送信されるデータに基づき前記表示部に表示する、プログラム。

Images