JP2016090853A - 表示装置、表示装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】使用者が表示装置を装着して、画像と、表示装置の外景を見る場合に、表示装置の表示画像が見える範囲と外景が見える範囲との不整合に起因する問題を防止する。
【解決手段】頭部装着型表示装置１００は、頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、画像表示部２０を透過して視認される外景を含む外景画像を取得し、取得した外景画像に基づいて、画像表示部２０を透過して視認される対象を認識し、対象に関する情報を画像表示部２０に表示する制御部１４０を備える。
【選択図】図４

Description

本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。

従来、使用者が頭部に装着して使用する、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）と呼ばれる表示装置が知られている（例えば、特許文献１参照）。この種の表示装置は、例えば特許文献１に記載されたように、現実の空間に関連した表示を行う用途に使用されるが、装着者に、表示する内容と現実の空間との位置関係の食い違いを感じさせるという課題があった。この課題に対し、特許文献１には、使用者の頭部の動きの変化を検出して表示を補正する構成が記載されている。

特開２００７−２１３４０７号公報

特許文献１記載の構成では、ＨＭＤを装着中は、使用者は表示画像を見るが、その外界を見ることはない。このため、特許文献１の構成では、使用者の前庭反射の運動感覚と表示の食い違いを防止する。
ところで、使用者がＨＭＤの画像を視認する間に、ＨＭＤの外の外景を視認できる構成を考えると、ＨＭＤの表示画像と外景の見え方が異なるという課題がある。すなわち、ＨＭＤを装着する使用者にとって、表示画像を視認する範囲が、外景が見える範囲と一致することは少ない。例えば、表示画像が、外景が見える範囲に比べて小さい範囲にしか見えないという事態が起こり得る。このような構成で効果的な表示を行うための手法が望まれていた。
本発明は上記事情に鑑みてなされたものであり、使用者が表示装置を装着して、画像と、表示装置の外景を見る場合に、表示装置の表示画像が見える範囲と外景が見える範囲との不整合に起因する問題を防止することを目的とする。

上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、を備えることを特徴とする。
本発明によれば、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。

また、本発明は、上記表示装置において、前記制御部は、前記対象が前記表示部において前記情報が表示される範囲の外にある場合に、前記表示部により、視線を前記対象へ誘導する誘導表示を行うこと、を特徴とする。
本発明によれば、対象の位置が、情報が表示される範囲に収まるように、視線を誘導できる。

また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認可能な範囲の外景の画像を、前記表示部に表示すること、を特徴とする。
本発明によれば、使用者が視認する外景の画像の見え方を変化させることができる。

また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記画像を表示する第１表示部と、前記第１表示部よりも外景側において前記第１表示部よりも広い範囲で視認される画像を表示する第２表示部と、を備え、前記制御部は、前記第２表示部により、視線を前記対象へ誘導する誘導表示を行うこと、を特徴とする。
本発明によれば、頭部装着型の表示装置が２つの表示部で表示を行う場合に、使用者が視認する外景と表示画像との不整合を防ぐことができる。また、使用者に表示画像を視認させた状態で、使用者の視線を表示画像の外に誘導できる。

また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記使用者の視線を検出する視線検出部を備え、前記制御部は、前記視線検出部が検出する前記使用者の視線の方向に対応して前記表示部の表示を変化させること、を特徴とする。
本発明によれば、表示画像を使用者の視線に対応させることができ、より効果的に、使用者が視認する外景と表示画像との不整合を防ぐことができる。

また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得する外景画像の一部領域を前記表示部に表示し、前記視線検出部が検出する前記使用者の視線の方向に対応して、前記外景画像において前記表示部に表示する一部領域の位置を変化させること、を特徴とする。
本発明によれば、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。

また、本発明は、上記表示装置において、前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、前記外景画像取得部は、前記撮像部の撮像画像を前記外景画像として取得すること、を特徴とする。
本発明によれば、外景画像を事前に用意することなく、使用者が視認する外景に対応する外景画像を取得し、画像を表示できる。

また、本発明は、上記表示装置において、前記外景画像取得部は、前記撮像部が撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、を特徴とする。
本発明によれば、撮像部の画角等に制限されず、好ましいサイズや画角を有する外景画像を得ることができる。

また、本発明は、上記表示装置において、複数の前記撮像部を備え、前記外景画像取得部は、複数の前記撮像部がそれぞれ撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、を特徴とする。
本発明によれば、複数の撮像画像を用いて、好ましいサイズや画角を有する外景画像を得ることができる。

また、本発明は、上記表示装置において、外部機器に接続する接続部を備え、前記外景画像取得部は、前記接続部に接続する前記外部機器から前記外景画像を取得すること、を特徴とする。
本発明によれば、予め外景画像を記憶したり、撮像する手段を設けたりすることなく、外景画像を取得できる。

また、本発明は、上記表示装置において、現在位置を検出する位置検出部を備え、前記外景画像取得部は、前記接続部に接続する前記外部機器から、前記位置検出部が検出する現在位置に対応する前記外景画像を取得すること、を特徴とする。
本発明によれば、表示装置の位置に対応する外景画像を取得できる。

また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得した前記外景画像から前記対象の画像を抽出することにより、前記対象を認識すること、を特徴とする。
本発明によれば、外景画像を用いて対象の位置を速やかに検出できる。
ここで、制御部は、外景画像から、予め設定された対象の画像を検出し、検出した画像の外景画像における位置を特定することで、対象を認識してもよい。また、制御部には、予め、認識する対象が設定されてもよく、この対象に関するデータが、予め記憶部に記憶されてもよい。ここで記憶されるデータは、対象を検出し認識するためのデータであり、例えば、対象の画像の特徴量等である。例えば、対象が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、制御部は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、予め記憶されたデータに含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体と、対象とが一致したと判定でき、この物体を対象として認識する。また、対象について複数の特徴量のデータが記憶される場合、制御部は、複数の特徴量に基づき外景画像から対象を認識してもよい。また、制御部は、対象までの距離を検出する距離検出部を利用して、対象までの距離を検出し、検出した距離に基づき対象を認識してもよい。

また、上記目的を達成するために、本発明の表示装置の制御方法は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御して、前記表示部を透過して視認される外景を含む外景画像を取得し、取得した前記外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示すること、を特徴とする。
本発明によれば、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景に対応した、効果的な表示を行うことができる。

上記目的を達成するために、本発明のプログラムは、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備えた表示装置を制御するコンピューターを、前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、して機能させる。
本発明によれば、表示装置を制御して、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景に対応した、効果的な表示を行うことができる。

第１実施形態の頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す図。 頭部装着型表示装置を構成する各部の機能ブロック図。 頭部装着型表示装置の動作を示すフローチャート。 外景画像取得処理の第１の態様を示すフローチャート。 外景画像取得処理の第２の態様に係る撮像処理を示すフローチャート。 外景画像取得処理の第２の態様を示すフローチャート。 外景画像取得処理の第３の態様を示すフローチャート。 頭部装着型表示装置の表示例を示す図であり、（Ａ）は使用者の視野を示し、（Ｂ）は外景画像の例を示し、（Ｃ）は誘導画像の表示例を示す。 頭部装着型表示装置の表示例を示す図であり、（Ａ）は縮小表示の例を示し、（Ｂ）は注視方向を検出する例を示し、（Ｃ）は注視方向を拡大した表示例を示す。 第２実施形態の頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の表示例を示す図であり、（Ａ）は使用者の視野を示し、（Ｂ）は外景画像の例を示し、（Ｃ）は外景画像の表示例を示す。 第３実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。 第３実施形態の画像表示部の光学系の構成を示す図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の表示例を示す図であり、（Ａ）は右透明ＬＣＤ、左透明ＬＣＤの表示の例を示し、（Ｂ）はハーフミラーによる表示の例を示し、（Ｃ）は表示が重なった状態を示す。

［第１実施形態］
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、右カメラ６１（撮像部）と、左カメラ６２（撮像部）と、マイク６３と、距離センサー６４とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図２〜図４を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

右カメラ６１は、頭部装着型表示装置１００の前面において右保持部２１側の端部に配置される。また、左カメラ６２は、頭部装着型表示装置１００の前面において左保持部２３側の端部に配置される。右カメラ６１、左カメラ６２は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
右カメラ６１及び左カメラ６２は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。右カメラ６１及び左カメラ６２の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む画角である。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように右カメラ６１、左カメラ６２の撮像範囲が設定されているとより好ましい。
右カメラ６１及び左カメラ６２は、制御部１４０が備える画像取得部１６１（図３）の制御に従って撮像を実行し、撮像画像データを画像取得部１６１に出力する。

距離センサー６４は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー６４は、後述する位置検出部１６２の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、後述する位置検出部１６２の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー６４は光源や受光部、或いは音源と検出部とを備え、測距処理を位置検出部１６２が行ってもよい。
本実施形態の距離センサー６４の測定方向は、頭部装着型表示装置１００の表側方向であり、右カメラ６１及び左カメラ６２の撮像方向と重複する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。

図３は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）は右カメラ６１及び左カメラ６２の画角の説明図である。なお、図３（Ａ）では画像表示部２０に繋がる右コード４２、左コード４４等の図示を省略する。

図３（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
この図３（Ａ）では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａが、略四角形の領域として見える。また、ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過して外景が視認され、ハーフミラー２６１Ａ、２６２Ａの位置に矩形の表示画像が視認される。

右カメラ６１は、上記のように右保持部２１側の端部に、画像表示部２０の前方を向いて配置され、左カメラ６２は、左保持部２３側の端部に配置される。また、距離センサー６４は、右光学像表示部２６と左光学像表示部２８との中央において、前方を向いて配置される。
図３（Ｂ）は、右カメラ６１、左カメラ６２、及び距離センサー６４の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。右カメラ６１の画角（撮像範囲）をＣＲ、左カメラ６２の画角（撮像範囲）をＣＬで示す。なお、図３（Ｂ）には水平方向の画角ＣＲ、ＣＬを示すが、右カメラ６１及び左カメラ６２の実際の画角は、一般的なデジタルカメラと同様に上下方向に拡がる。

画角ＣＲと画角ＣＬとは、画像表示部２０の中央位置に対してほぼ左右対称であり、画角ＣＲと画角ＣＬは、いずれも画像表示部２０の中央位置の真正面方向を含む。このため、画像表示部２０の中央位置の正面で、画角ＣＲ、ＣＬが重なる。
例えば、図３（Ｂ）に示すように、画像表示部２０の正面方向に対象ＯＢがある場合、対象ＯＢは画角ＣＲ及び画角ＣＬのどちらにも含まれる。このため、右カメラ６１の撮像画像と、左カメラ６２の撮像画像のいずれも、対象ＯＢが写る。ここで、使用者が対象ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。
従って、注視点が対象ＯＢである場合、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。

また、頭部装着型表示装置１００を装着する使用者が右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、図３（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。

右カメラ６１及び左カメラ６２は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角ＣＲ、ＣＬの全体が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角ＣＲ、ＣＬの全体が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角ＣＲ、ＣＬの全体が、使用者の安定注視野よりも広く、最も好ましくは、画角ＣＲ、ＣＬの全体が使用者の視野角よりも広い。

このため、右カメラ６１及び左カメラ６２は、画角ＣＲと画角ＣＬとが、図３（Ｂ）に示すように画像表示部２０の前方で重なるように配置される。また、右カメラ６１及び左カメラ６２を広角カメラで構成してもよい。すなわち、右カメラ６１及び左カメラ６２が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を右カメラ６１及び左カメラ６２が備えてもよい。また、右カメラ６１の画角ＣＲと左カメラ６２の画角ＣＬとは同じ角度でなくてもよい。また、右カメラ６１の撮像方向と左カメラ６２の撮像方向とは、完全に平行である必要はない。右カメラ６１の撮像画像と、左カメラ６２の撮像画像とを重ね合わせた場合に、使用者の視野よりも広い範囲が撮像されていればよい。

図３（Ｂ）には、距離センサー６４の検出方向を符号６４Ａで示す。本実施形態で、距離センサー６４は、画像表示部２０の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象ＯＢまでの距離を検出する。頭部装着型表示装置１００を装着した使用者は、注視する方向に頭を向けるため、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。

また、図３（Ａ）に示すように、画像表示部２０の使用者側には視線センサー６８が配置される。視線センサー６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けられる。視線センサー６８は、例えば、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラで構成される。視線センサー６８は、制御部１４０（図４）の制御に従って撮像を行い、制御部１４０が、撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。

図４は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１３５に接続される。操作部１３５は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。３軸センサー１１３により、制御部１４０は、制御装置１０の動きを検出することができ、例えば制御装置１０を振る等の操作を検出できる。また、３軸センサー１１３は９軸センサーに置き換えてもよい。この場合、制御部１４０は、３軸の加速度センサー、３軸の角速度センサー、及び３軸の地磁気センサーの検出値を取得し、例えば、制御装置１０の姿勢、向き、動きを検出できる。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、画像取得部１６１、位置検出部１６２、画像選択部１６３、動作処理部１６４、表示位置制御部１６５、音声処理部１８７、及び、表示制御部１９０として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、上記の右カメラ６１、左カメラ６２、及び距離センサー６４を備える。また、画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６と、視線センサー６８とを備える。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、右カメラ６１、左カメラ６２、距離センサー６４、９軸センサー６６及び視線センサー６８を接続するインターフェイスである。右カメラ６１、左カメラ６２の撮像データ、距離センサー６４の検出結果、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー６８の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

図３（Ａ）に示したように、頭部装着型表示装置１００を装着する使用者が、ハーフミラー２６１Ａ、２６２Ａから照射される画像光を視認する範囲は、実視野より小さい。例えば、頭部装着型表示装置１００が、ＡＲ（Augmented Reality）効果を奏する画像（以下、ＡＲ画像という）を表示する場合、使用者が注視する対象ＯＢに重なるようにＡＲ画像を表示する。この場合、対象ＯＢにＡＲ画像が重なって見えることで、ＡＲの効果が得られるが、ＡＲ画像が視認される領域はハーフミラー２６１Ａ、２６２Ａの大きさの制約を受ける。このため、実視野に対象ＯＢが含まれる場合であっても、対象ＯＢに重なる位置にＡＲ画像を表示することが困難なケースも考えられる。また、ＡＲ画像以外の画像を表示する場合も、頭部装着型表示装置１００が画像を表示できる領域が、実視野に比べて小さいことが機能上の制約となる可能性がある。

そこで、頭部装着型表示装置１００は、右カメラ６１及び左カメラ６２の撮像画像や、予め用意された画像など、使用者の実視野よりも広い範囲の外景の画像を利用して、使用者が注視する外景中の対象ＯＢに対応するＡＲコンテンツを表示するなど、外景に対応した表示を行う。

画像取得部１６１は、頭部装着型表示装置１００の現在の位置に対応する外景画像を取得する。外景画像は、右カメラ６１及び左カメラ６２の撮像画像、または、通信部１１７を介して通信可能な外部装置から取得する画像が挙げられる。画像取得部１６１が外景画像を取得する処理については後述する。

位置検出部１６２は、制御部１４０が外景画像から対象物（対象）を検出（認識）する機能を実行する。この機能では、位置検出部１６２は、例えば画像取得部１６１が取得した外景画像を解析する。位置検出部１６２は、外景画像から対象物の画像を検出し、検出した画像の外景画像における位置を特定することで、使用者が注視する対象物の位置を検出する。この処理については後述する。また、位置検出部１６２は、距離センサー６４を制御して検出した対象物までの距離を計測することにより、対象物の位置を検出してもよく、外景画像の処理と距離センサー６４で検出した距離とを併用して対象物の位置を検出してもよい。

画像選択部１６３は、外部機器ＯＡからインターフェイス１２５に入力されるＡＲコンテンツのうち、表示するＡＲコンテンツを選択する。
動作処理部１６４は、９軸センサー６６の検出値等に基づいて、画像表示部２０の動きを検出し、画像表示部２０の動きに対応した処理を行う。画像表示部２０の動きは、頭部装着型表示装置１００を装着する使用者の頭の動きと見なすことができる。また、動作処理部１６４は、視線センサー６８を制御して、使用者の視線方向を検出する。
表示位置制御部１６５は、位置検出部１６２が検出する対象物の位置、動作処理部１６４が検出する画像表示部２０の動き、及び／又は使用者の視線方向に対応して右表示駆動部２２及び左表示駆動部２４のＡＲ画像の表示位置に係る制御を行う。

図５は、頭部装着型表示装置１００の動作を示すフローチャートである。
使用者が頭部装着型表示装置１００を装着し（ステップＳ１１）、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、制御部１４０は、表示に係る動作を開始する（ステップＳ１１）。
制御部１４０は、画像取得部１６１により、外景画像取得処理を実行する（ステップＳ１２）。外景画像取得処理の具体的な態様は３通りある。

図６は、ステップＳ１２の外景画像取得処理の第１の態様を示すフローチャートである。この第１の態様では、画像取得部１６１は、右カメラ６１及び左カメラ６２を制御して撮像を実行させ（ステップＳＡ１）、撮像画像データを取得する（ステップＳＡ２）。
画像取得部１６１は、取得した撮像画像データが複数あるか否かを判定する（ステップＳＡ３）。本実施形態の頭部装着型表示装置１００は２つの右カメラ６１、左カメラ６２のそれぞれが撮像画像データを出力するので、画像取得部１６１は複数の撮像画像データを取得し（ステップＳＡ３；ＹＥＳ）、取得した撮像画像データを合成することにより外景画像データを得る（ステップＳＡ４）。また、ステップＳＡ２で取得した撮像画像データが１つである場合（ステップＳＡ３；ＮＯ）、画像取得部１６１は、取得した撮像画像データを外景画像データとする。撮像画像データが１つである場合とは、例えば、右カメラ６１と左カメラ６２が撮像した範囲の１つの撮像画像データが制御部１４０に入力される場合や、右カメラ６１または左カメラ６２のいずれか一方のみを使用するよう設定された場合、１つのカメラを備えた構成である場合等が挙げられる。

図７及び図８は、外景画像取得処理の第２の態様を示し、図７は撮像処理を示すフローチャートであり、図８は外景画像取得処理を示すフローチャートである。
第２の態様では、頭部装着型表示装置１００の動作中、画像取得部１６１が、一定時間毎に右カメラ６１及び左カメラ６２による撮像を実行する。すなわち、画像取得部１６１は、頭部装着型表示装置１００の動作開始またはＡＲコンテンツの表示開始をトリガーとして撮像動作を開始し（ステップＳＢ１）、右カメラ６１及び左カメラ６２による撮像を実行する（ステップＳＢ２）。
画像取得部１６１は右カメラ６１及び左カメラ６２が撮像した撮像画像データを取得する（ステップＳＢ３）。続いて、画像取得部１６１は、ＧＰＳ１１５により頭部装着型表示装置１００の現在位置の座標、及び／又は９軸センサー６６の検出値を取得する（ステップＳＢ４）。例えば、画像取得部１６１は、ＧＰＳ１１５の現在位置と、９軸センサー６６の地磁気センサー、角速度センサー及び加速度センサーの検出値とを取得し、頭部装着型表示装置１００の現在位置と姿勢を特定できる。

画像取得部１６１は、ステップＳＢ３で取得した撮像画像データを、ステップＳＢ４で取得した現在位置や検出値に対応付けて記憶部１２０に記憶する（ステップＳＢ５）。
その後、画像取得部１６１は、撮像を終了する条件が成立しているか否かを判定し（ステップＳＢ６）、撮像終了の条件が成立していない場合は（ステップＳＢ６；ＮＯ）、ステップＳＢ２に戻る。撮像終了の条件とは、操作部１３５の操作により撮像終了が指示された場合、頭部装着型表示装置１００の動作モードが、ＡＲコンテンツを表示する動作モードや、右カメラ６１、左カメラ６２の撮像を行わない動作モードに切り換えられた場合等が挙げられる。

頭部装着型表示装置１００は、例えば、右カメラ６１及び左カメラ６２が撮像を実行可能な状態で、ステップＳＢ２〜ＳＢ６の動作を、所定時間ごとに繰り返し実行してもよい。この場合、頭部装着型表示装置１００がＡＲ表示を行うか否かにかかわらず、記憶部１２０には、頭部装着型表示装置１００の現在位置やセンサーの検出値に対応付けて、撮像画像データが記憶される。なお、記憶部１２０の記憶容量の制限がある場合、画像取得部１６１は、通信部１１７を介して接続される外部装置に、撮像画像データと現在位置とセンサーの検出値とを対応付けて送信してもよい。この場合の外部装置は、ＬＡＮ（Local Area Network）に接続された記憶装置や、オンラインストレージと呼ばれる記憶装置、或いは、クラウドストレージサーバー等が挙げられる。
また、撮像終了の条件が成立した場合は（ステップＳＢ６；ＹＥＳ）、本処理を終了する。

図８の外景画像取得処理は、図７の動作で記憶された撮像画像データを使用するが、図７の動作と連動または協調して実行する必要はない。つまり、図７の動作および図８の動作は、互いに、実行タイミングは拘束されない。
画像取得部１６１は、ＧＰＳ１１５で頭部装着型表示装置１００の現在位置を検出して取得し、９軸センサー６６の検出値を取得する（ステップＳＢ１１）。続いて、画像取得部１６１は、ステップＳＢ１１で取得した現在位置及びセンサーの検出値に対応付けて記憶された撮像画像データを、記憶部１２０または通信部１１７で接続された外部機器から取得する（ステップＳＢ１２）。ステップＳＢ１２で、画像取得部１６１は、ステップＳＢ１１で取得した現在位置及びセンサー検出値を検索条件として撮像画像データを検索する。画像取得部１６１は、検索条件の全てに該当する撮像画像データを取得してもよいし、一部の検索条件にのみ該当する撮像画像データを取得してもよい。

画像取得部１６１は、ステップＳＢ１２で取得した撮像画像データが複数か否かを判定する（ステップＳＢ１３）。撮像画像データが複数ある場合（ステップＳＢ１３；ＹＥＳ）、画像取得部１６１は、取得した複数の撮像画像データを合成して１つの撮像画像データにして（ステップＳＢ１４）、図５のステップＳ１３に移行する。一方、取得した撮像画像データが１つである場合（ステップＳＢ１３；ＮＯ）、画像取得部１６１は、図５のステップＳ１３に移行する。

図９は、外景画像取得処理の第３の態様を示し、図７は撮像処理を示すフローチャートであり、図８は外景画像取得処理を示すフローチャートである。
第３の態様では、画像取得部１６１は外部機器から撮像画像データを取得する。この場合の外部機器は、限定的な範囲に敷設されたＬＡＮ等の通信回線、或いは、インターネット等の広域ネットワークを介して、頭部装着型表示装置１００と通信可能に接続されたサーバー装置等である。この外部機器は、頭部装着型表示装置１００の位置やセンサーの検出値等に対応する画像データを記憶する。

画像取得部１６１は、ＧＰＳ１１５で頭部装着型表示装置１００の現在位置を検出して取得し、９軸センサー６６の検出値を取得する（ステップＳＣ１）。続いて、画像取得部１６１は、ステップＳＢ１１で取得した現在位置及びセンサーの検出値を、通信部１１７を介して接続される外部機器に送信し、撮像画像データを要求する（ステップＳＣ３）。
その後、画像取得部１６１は、ステップＳＣ３で送信した要求への応答として、外部機器が送信する画像データを受信する（ステップＳＣ３）。

画像取得部１６１は、ステップＳＣ３で受信した撮像画像データが複数か否かを判定する（ステップＳＣ４）。撮像画像データが複数ある場合（ステップＳＣ４；ＹＥＳ）、画像取得部１６１は、受信した複数の撮像画像データを合成して１つの撮像画像データにして（ステップＳＣ５）、図５のステップＳ１３に移行する。一方、受信した撮像画像データが１つである場合（ステップＳＣ４；ＮＯ）、画像取得部１６１は、図５のステップＳ１３に移行する。

上記の第１、第２、或いは第３の態様の外景画像取得処理を実行し、画像取得部１６１は、１つの外景画像を得る。
その後、位置検出部１６２は、取得した外景画像から、ＡＲ表示の対象を認識する（ステップＳ１３）。ＡＲ表示の対象とは、頭部装着型表示装置１００の使用者が外景において視認する物体であり、人間、動物、及び無生物のいずれであってもよく、移動可能なものに限定されず建物等の移動できない物を含む。対象は、使用者が対象の方を向いたときに、右光学像表示部２６及び左光学像表示部２８を透過して視認される。頭部装着型表示装置１００は、予め設定された対象に関する情報を、対象と同時に見えるように画像表示部２０により表示することで、ＡＲ表示を行う。

位置検出部１６２には、予め、検出する対象が設定される。対象は、ＡＲ表示のコンテンツ毎に設定可能であり、例えば、ＡＲ表示のコンテンツ（以下、ＡＲコンテンツと呼ぶ）のデータに含まれる。また、検出する対象に関するデータが設定データ１２１として記憶されてもよい。ステップＳ１３で、位置検出部１６２は、ＡＲコンテンツまたは設定データ１２１から対象を検出するためのデータを取得し、このデータを用いて、外景画像に含まれる対象物（対象）を認識する。対象物を検出するためのデータとは、撮像画像から対象物の画像を検出する処理に用いるデータであり、対象物の画像の特徴量等である。例えば、対象物が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、位置検出部１６２は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、設定データ１２１に含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体を対象物として認識できる。また、対象物について複数の特徴量が設定データ１２１に含まれる場合、位置検出部１６２は複数の特徴量に基づき外景画像から対象物を検出し、認識できる。位置検出部１６２は、外景画像において対象を認識できない場合、ステップＳ１２で画像取得部１６１が新たな外景画像を取得するまで待機し、新たな外景画像について対象を認識する処理を行う。

続いて、位置検出部１６２は、ステップＳ１３で認識した対象の位置、または、位置および距離を算出する（ステップＳ１４）。位置検出部１６２は、頭部装着型表示装置１００を基準とした位置及び距離を算出する。より詳細には、画像表示部２０に対する対象の相対位置および画像表示部２０から対象までの距離を算出する。この場合、画像表示部２０の右光学像表示部２６と左光学像表示部２８との中央の位置を、位置及び距離を算出するときの基準にしてもよい。

位置検出部１６２が位置を算出する方法は、ステップＳ１３で外景画像から認識した対象の外景画像における座標を求め、求めた座標から、画像表示部２０に対する対象の相対位置を求める方法を採用できる。この場合、位置検出部１６２は、外景画像における対象の画像のサイズから、画像表示部２０から対象までの距離の推定値を算出できる。ここで、外景画像と画像表示部２０の位置との位置関係を示すデータが、外景画像のデータに付加されていてもよい。

また、位置検出部１６２は、右カメラ６１及び左カメラ６２により対象を撮像して、撮像画像における対象の画像を検出し、検出した画像の撮像画像における座標及びサイズに基づき、対象の位置と距離とを算出してもよい。画像取得部１６１が図６の動作で外景画像を取得した場合、この外景画像をもとに上記処理を実行できる。また、画像取得部１６１が図７、８の動作または図９の動作で外景画像を取得した場合、位置検出部１６２は、外景画像で対象を検出した後に、右カメラ６１及び左カメラ６２に撮像を実行させて、上記処理を行えばよい。

また、位置検出部１６２は、対象までの距離を、距離センサー６４を利用して求めてもよい。位置検出部１６２は、外景画像から検出した対象が、距離センサー６４の検出方向に位置すると判定した場合に、距離センサー６４を動作させて距離を検出し、検出した距離を、対象までの距離とすればよい。

ステップＳ１４で位置検出部１６２が算出する対象の位置及び距離に基づき、表示位置制御部１６５は、右光学像表示部２６及び左光学像表示部２８の表示領域における対象の位置を算出する（ステップＳ１５）。右光学像表示部２６及び左光学像表示部２８の表示領域は、具体的には、図３（Ａ）に示したように、ハーフミラー２６１Ａ、２６２Ａが相当する。表示位置制御部１６５は、使用者がハーフミラー２６１Ａ、２６２Ａ越しに視認する外景の範囲を基準とし、ＡＲコンテンツの対象の位置を算出する。

表示位置制御部１６５は、ステップＳ１５で算出した対象の位置が画像表示部２０の表示領域内か否かを判定する（ステップＳ１６）。ここで、表示領域とは、使用者がハーフミラー２６１Ａ、２６２Ａ越しに視認する外景の範囲を指す。この対象は外景に存在するものであり、表示位置制御部１６５は、対象が、使用者に、ハーフミラー２６１Ａ、２６２Ａと重なって見えるか否かを判定する。

ステップＳ１６で、表示位置制御部１６５は、ハーフミラー２６１Ａとハーフミラー２６２Ａのそれぞれについて判定を行っても良い。この場合、表示位置制御部１６５は、使用者がハーフミラー２６１Ａ越しに視認する範囲に対象が含まれるか否かの判定、及び、使用者がハーフミラー２６２Ａ越しに視認する範囲に対象が含まれるか否かの判定を、それぞれ行う。
例えば、画像選択部１６３が３ＤのＡＲコンテンツを選択した場合等は、ハーフミラー２６１Ａ、２６２Ａの両方において対象が表示範囲内であることが好ましい。この場合、表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａの両方で対象が表示範囲内にある場合に、対象が表示領域内にあると判定する。
また、例えば、画像選択部１６３が、対象に関する説明文や注釈のテキストまたは画像を表示するＡＲコンテンツを選択した場合、ハーフミラー２６１Ａ、２６２Ａのいずれか一方に、ＡＲコンテンツが表示されればよい。この場合、表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａのいずれか一方で対象が表示範囲内にあれば、対象が表示領域内にあると判定する。
このように、表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａに関する判定結果を、画像選択部１６３が選択するＡＲコンテンツの種類に応じて統合し、ステップＳ１６の判定を行ってもよい。

表示位置制御部１６５が、対象の位置表示領域内でないと判定した場合（ステップＳ１６；ＮＯ）、動作処理部１６４は、表示制御部１９０を制御して、視線を誘導する誘導画像を右光学像表示部２６及び左光学像表示部２８に表示させる（ステップＳ１７）。

図１０は、本実施形態における表示例を示す図であり、（Ａ）は使用者の視野ＶＲを示し、（Ｂ）は外景画像の例を示し、（Ｃ）は誘導画像の表示例を示す。
図１０（Ａ）は使用者の右眼の視野ＶＲの例を示しており、使用者の左眼の視野は図１０（Ａ）と同一または左右対称であるため図示を省略する。視野ＶＲのうちハーフミラー２６１Ａに相当する領域が表示領域Ｄ１となり、この表示領域Ｄ１に、右ＬＣＤ２４１（図４）に描画される画像が表示される。
図１０（Ａ）の例では視野ＶＲに自転車が見えているが、この自転車は画像表示部２０の外側に置かれている実物の自転車である。つまり、使用者は、右光学像表示部２６を透過して、外景の自転車を視認する。

図１０（Ｂ）には画像取得部１６１が取得する外景画像Ｐの例を示す。この例では、画像取得部１６１は、使用者が視認する範囲より広い範囲の外景画像Ｐを取得し、この外景画像Ｐには使用者の視野ＶＲに見える範囲より大きな範囲が写っている。参考のため、外景画像Ｐにおいて、視野ＶＲに見える範囲を符号Ｐ１で示し、表示領域Ｄ１に対応する範囲を符号Ｐ２で示す。
図１０（Ｂ）の例では、ＡＲコンテンツに対応する対象ＯＢが、視野ＶＲに見える範囲Ｐ１の外にあり、表示領域Ｄ１に対応する範囲Ｐ２の外でもある。このため、表示位置制御部１６５は、ステップＳ１６で、対象ＯＢの位置が表示領域内でないと判定する。この場合、動作処理部１６４がステップＳ１７で表示する誘導画像は、例えば図１０（Ｃ）に示すように、使用者の視線を対象ＯＢ側に移動させる画像である。図１０（Ｃ）の誘導画像Ｄ２は、対象ＯＢの方向を示す矢印である。この矢印に従って使用者が頭部の向きを変えると、対象ＯＢが表示領域Ｄ１に入る可能性がある。

動作処理部１６４は、頭部装着型表示装置１００の移動を検出したか否かを判定する（ステップＳ１８）。動作処理部１６４は、９軸センサー６６により、画像表示部２０の向きや位置の変化を検出し、予め設定された閾値よりも大きい変化があった場合に、移動を検出したと判定する。また、動作処理部１６４は、ＧＰＳ１１５を利用して頭部装着型表示装置１００の移動を検出してもよい。頭部装着型表示装置１００の移動を検出しないと判定した場合（ステップＳ１８；ＮＯ）、動作処理部１６４は、誘導画像の表示を継続し、一定時間毎にステップＳ１８の判定を行う。頭部装着型表示装置１００の移動を検出した場合（ステップＳ１８；ＹＥＳ）、動作処理部１６４はステップＳ１４に戻る。

また、表示位置制御部１６５が、対象が表示領域内であると判定した場合（ステップＳ１６；ＹＥＳ）、動作処理部１６４は表示制御部１９０を制御して、ＡＲコンテンツを右光学像表示部２６、左光学像表示部２８に表示させる（ステップＳ１９）。ここで、動作処理部１６４は、ＡＲコンテンツのデータを間引きして表示制御部１９０に表示させてもよい。データの間引きとは、具体的には、動画像データの一部のフレームを抽出することでフレームレートを低下させる、フレームの解像度を低下させる、等の処理を含む。これにより、表示制御部１９０が処理するデータ量を削減でき、表示タイミングの遅延を防止できる等の利点がある。

続いて、表示位置制御部１６５が、表示位置のフィッティングを実行する（ステップＳ２０）。フィッティングは使用者が制御装置１０を操作して、手動でＡＲコンテンツの表示位置を調整する機能である。使用者が、ステップＳ１９でＡＲコンテンツが表示された位置の変更を望む場合など、必要があれば実行される。従って、ステップＳ２０を省略することも可能であり、ステップＳ２０のフィッティングを実行するか否かを設定可能な構成であってもよい。ステップＳ２０で、表示位置制御部１６５は、操作部１３５等の操作に従って、ＡＲコンテンツの表示位置を移動させる。ここで、表示位置制御部１６５は、操作部１３５等の操作に従ってＡＲコンテンツの表示サイズを変更してもよい。また、ステップＳ２０で実行した位置調整やサイズ調整の調整量を、記憶部１２０に設定データ１２１として記憶してもよい。

ステップＳ１９〜Ｓ２０の動作により、使用者には、対象に重なる位置、或いは対象に対応する位置で、ＡＲコンテンツを視認できる。
その後、動作処理部１６４は、操作部１３５等においてズーム表示を指示する操作があったか否かを判定する（ステップＳ２１）。該当する操作があった場合（ステップＳ２１；ＹＥＳ）、動作処理部１６４は、視線センサー６８によって使用者の視線を検出する（ステップＳ２２）。動作処理部１６４は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、注視方向を中心にしたズーム表示を実行し（ステップＳ２３）、ステップＳ２４に移行する。また、ズーム表示を指示する操作がないと判定した場合（ステップＳ２１；ＮＯ）、動作処理部１６４はステップＳ２４に移行する。

図１１は、頭部装着型表示装置１００の表示例を示す図であり、（Ａ）は縮小表示の例を示し、（Ｂ）は注視方向を検出する例を示し、（Ｃ）はズーム表示の例を示す。
図１１（Ａ）に示す縮小表示は、操作部１３５の操作に対応して動作処理部１６４が実行する動作の一例であり、外景画像Ｐ（図１０（Ｂ））を縮小して表示領域Ｄ１に表示する。外景画像Ｐが、使用者が画像表示部２０を透過して視認する外景よりも広い範囲の画像である場合に、縮小表示を行うと、使用者は視野ＶＲよりも広い範囲の外景を見ることができる。

表示位置制御部１６５は、ステップＳ２２で、視線センサー６８を使用して視線を検出し、検出した視線に基づいて使用者が注視している方向を求め、表示領域Ｄ１に重なる外景において使用者が注視している注視点を算出する。図１１（Ｂ）には注視点ＶＰＯが表示領域Ｄ１の内部にあるが、視線センサー６８を使用すれば、注視点ＶＰＯが表示領域Ｄ１の外にある場合も検出できる。
図１１（Ｃ）の例では、注視点ＶＰＯを中心とした所定範囲が、拡大されて表示領域Ｄ１に表示される。図１１（Ｃ）では外景画像Ｐの一部が拡大されて表示されているが、表示領域Ｄ１に表示中のＡＲ画像を、拡大表示してもよい。

ステップＳ２４で、動作処理部１６４は、頭部装着型表示装置１００の移動を検出したか否かを判定する（ステップＳ２４）。動作処理部１６４は、９軸センサー６６及び／又はＧＰＳ１１５を利用して、頭部装着型表示装置１００の移動を検出する。頭部装着型表示装置１００の移動を検出しないと判定した場合（ステップＳ２４；ＮＯ）、動作処理部１６４は、誘導画像の表示を継続し、一定時間毎にステップＳ２１の判定を行う。

頭部装着型表示装置１００の移動を検出した場合（ステップＳ２４；ＹＥＳ）、動作処理部１６４は、表示領域における対象の位置を算出する（ステップＳ２５）。この動作はステップＳ１５と同様である。表示位置制御部１６５は、ステップＳ２５で算出した対象の位置が画像表示部２０の表示領域内か否かを判定する（ステップＳ２６）。ステップＳ２６の判定は、ステップＳ１６と同様に行うことができる。

表示位置制御部１６５が、対象の位置が表示領域内でないと判定した場合（ステップＳ２６；ＮＯ）、制御部１４０はステップＳ１７に移行して、視線を誘導する誘導画像を右光学像表示部２６及び左光学像表示部２８に表示させる（ステップＳ１７）。
ＡＲ表示の対象の位置が表示領域内であると判定した場合（ステップＳ２６；ＹＥＳ）、表示位置制御部１６５は、ＡＲ表示の表示位置を算出して更新し、更新後の位置に基づき、動作処理部１６４が表示制御部１９０を制御してＡＲコンテンツを表示する（ステップＳ２７）。

その後、動作処理部１６４は、表示終了の条件が成立しているか否かを判定し（ステップＳ２８）、表示終了の条件が成立していない場合は（ステップＳ２８；ＮＯ）、ステップＳ２１に戻る。また、表示終了の条件が成立した場合（ステップＳ２８；ＹＥＳ）、ＡＲコンテンツの表示を停止する。表示終了の条件は、例えば、操作部１３５による終了の指示があること、ＡＲコンテンツの表示が完了したこと、等である。

以上説明したように、本発明を適用した第１実施形態に係る頭部装着型表示装置１００は、頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、画像表示部２０を透過して視認される外景を含む外景画像を取得し、取得した外景画像に基づいて、画像表示部２０を透過して視認される対象を認識し、対象に関する情報を画像表示部２０に表示する制御部１４０を備える。これにより、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。

また、制御部１４０は、対象が画像表示部２０において情報が表示される範囲の外にある場合に、画像表示部２０により、視線を対象へ誘導する誘導表示を行う。これにより、対象の位置が、情報が表示される範囲に収まるように、視線を誘導できる。
また、制御部１４０は、取得した外景画像に基づいて、画像表示部２０を透過して視認可能な範囲の外景の画像を、画像表示部２０に表示する。これにより、使用者が視認する外景の画像の見え方を変化させることができる。

また、画像表示部２０は、使用者の頭部に装着される頭部装着型の表示部であり、使用者の視線を検出する視線センサー６８を備える。制御部１４０は、視線センサー６８が検出する使用者の視線の方向に対応して画像表示部２０の表示を変化させる。これにより、表示画像を使用者の視線に対応させることができ、より効果的に、使用者が視認する外景と表示画像との不整合を防ぐことができる。

また、制御部１４０は、外景画像の一部領域を画像表示部２０に表示し、視線検出部が検出する使用者の視線の方向に対応して、外景画像において画像表示部２０に表示する一部領域の位置を変化させる。これにより、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。

また、頭部装着型表示装置１００は、画像表示部２０を透過して視認される外景を含む範囲を撮像する右カメラ６１及び左カメラ６２を備える。制御部１４０は、第１の態様で説明したように、右カメラ６１及び左カメラ６２の撮像画像を外景画像として取得してもよい。この場合、外景画像を事前に用意することなく、使用者が視認する外景に対応する外景画像を取得し、画像を表示できる。
また、制御部１４０は、複数の撮像部である右カメラ６１、左カメラ６２がそれぞれ撮像した複数の撮像画像を取得して合成することにより外景画像を生成してもよい。この場合、複数の撮像画像を用いて、好ましいサイズや画角を有する外景画像を得ることができる。

また、制御部１４０は、第２の態様で説明したように、右カメラ６１及び左カメラ６２が撮像した複数の撮像画像を取得して合成することにより外景画像を生成してもよい。この場合、右カメラ６１、左カメラ６２の画角等に制限されず、好ましいサイズや画角を有する外景画像を得ることができる。

また、頭部装着型表示装置１００は、外部機器に接続する通信部１１７を備え、制御部１４０は、第３の態様で説明したように、通信部１１７に接続する外部機器から外景画像を取得してもよい。この場合、予め外景画像を記憶したり、撮像する手段を設けたりすることなく、外景画像を取得できる。
また、頭部装着型表示装置１００は、現在位置を検出するＧＰＳ１１５を備え、制御部１４０は、通信部１１７を介して、外部機器から、ＧＰＳ１１５で検出する現在位置に対応する外景画像を取得してもよい。この場合、頭部装着型表示装置１００の位置に対応する外景画像を取得できる。

［第２実施形態］
図１２は、第２実施形態における頭部装着型表示装置１００の動作を示すフローチャートである。
第２実施形態の頭部装着型表示装置１００の構成は、上記第１実施形態で図１〜図４を参照して説明した構成と共通であるため、図示及び説明を省略する。
この第２実施形態で、頭部装着型表示装置１００は、ＡＲコンテンツの表示中に使用者の視線が移動したことを検出し、視線の移動に合わせて表示位置を変更する。

使用者が頭部装着型表示装置１００を装着し（ステップＳ１１）、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、制御部１４０は、表示に係る動作を開始する（ステップＳ１１）。
制御部１４０は、画像取得部１６１により、外景画像取得処理を実行する（ステップＳ１２）。外景画像取得処理は、上述した第１〜第３の態様で実行できる。

画像取得部１６１が外景画像取得処理で外景画像を取得した後、動作処理部１６４は、視線センサー６８によって使用者の視線を検出する（ステップＳ４１）。動作処理部１６４は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、外景画像から、注視方向に対応する部分を切り出す処理を行う（ステップＳ４２）。

動作処理部１６４は、ステップＳ４１において、視線センサー６８を使用して使用者の視線を検出し、画像表示部２０を基準として使用者が注視する方向を特定する。この場合の基準は、画像表示部２０の右光学像表示部２６と左光学像表示部２８との中央位置や、ハーフミラー２６１Ａ、２６２Ａの中心等とすることができる。
ステップＳ４２において、動作処理部１６４は、画像取得部１６１がステップＳ１２で取得した外景画像と、使用者が画像表示部２０を透過して視認する実際の外景との対応を特定する。画像取得部１６１が取得する外景画像は、使用者が視認する実際の外景を含み、これに加えて、使用者が視認できない範囲の外景の画像を含む。動作処理部１６４は、ステップＳ１２の外景画像取得処理が第１の態様（図６）または第２の態様（図７、図８）で実行された場合は、右カメラ６１及び左カメラ６２の画角に基づき、使用者が視認する外景と外景画像との相対位置を求める。また、外景画像取得処理が第３の態様（図９）で実行された場合、動作処理部１６４は、外部機器から外景画像を受信する際に検出した画像表示部２０の位置や方向に基づき、使用者が視認する外景と外景画像との相対位置を求める。この相対位置をもとに、動作処理部１６４は、外景画像において使用者の視線方向に重なる位置、すなわち注視点を特定する。

図１３は、第２実施形態における表示例を示す図であり、（Ａ）は使用者の視野ＶＲを示し、（Ｂ）は外景画像の例を示し、（Ｃ）は視線方向に対応した表示例を示す。
図１３（Ａ）、（Ｃ）は使用者の右眼の視野ＶＲの例を示しており、使用者の左眼の視野は図１３（Ａ）、（Ｃ）と同一または左右対称であるため図示を省略する。視野ＶＲのうちハーフミラー２６１Ａに相当する領域として表示領域Ｄ１を示す。
図１３（Ａ）の例では視野ＶＲに自転車が見えているが、この自転車は画像表示部２０の外側に置かれている実物の自転車である。つまり、使用者は、右光学像表示部２６を透過して、外景の自転車を視認する。

動作処理部１６４は、図１３（Ｂ）に示すように、使用者の視線方向に対応する外景画像中の位置を特定し、この位置を注視点ＶＰＯとする。さらに、動作処理部１６４は、注視点ＶＰＯを中心とする矩形の部分Ｐ３を、外景画像から切り出す処理を行う。部分Ｐ３のサイズは、右ＬＣＤ２４１及び左ＬＣＤ２４２の表示解像度等に合わせて予め設定される。

ステップＳ４２で動作処理部１６４が切り出す画像について、表示位置制御部１６５は、表示位置及びサイズを決定する（ステップＳ４３）。続いて、動作処理部１６４は、表示の輝度の調整を行い、ステップＳ４３で決定した位置及びサイズに従って、ステップＳ４２で切り出した外景画像を表示する（ステップＳ４４）。
外景画像の表示例を図１３（Ｃ）に示す。視野ＶＲには、注視点ＶＰＯを中心とした画像が、ハーフミラー２６１Ａの位置に表示される。ハーフミラー２６１Ａの表示画像は、外景の一部の表示位置をずらしたような表示となっており、使用者は、自分が見たい位置の外景を、見やすい位置にシフトした状態で視認できる。
表示輝度を調整すると、外景画像から切り出した画像と、実際の外景との視認性を調整できる。ハーフミラー２６１Ａ、２６２Ａが使用者の眼に入射させる画像光の光量が多いほど、ハーフミラー２６１Ａ、２６２Ａを透過する外光の光量が相対的に小さくなるので、実際の外景が見えにくくなる。言い換えれば、画像表示部２０の表示画像の輝度が高いと、表示画像の視認性が高く、実際の外景の視認性が低い。反対に、画像表示部２０の表示画像の輝度を低くすれば、表示画像の視認性が低くなり、実際の外景の視認性が高くなる。この第２実施形態で表示する画像は外景画像であるから、実際の外景と似ている。このため、輝度を高くすれば、表示される外景画像と実際の外景とを混同しにくくなるという利点がある。一方、表示画像の輝度を低くすれば、外景の視認性を確保して画像を表示できるという利点がある。

ステップＳ４４で外景画像の表示を開始した後、動作処理部１６４は、視線センサー６８による視線の検出を行い、視線の移動があったか否かを判定する（ステップＳ４５）。すなわち、動作処理部１６４は、使用者の視線方向が、前回検出した視線方向から、予め設定されたしきい値を超えて変化したか否かを判定する。
視線の移動がないと判定した場合（ステップＳ４５；ＮＯ）、動作処理部１６４は、視線センサー６８による視線検出とステップＳ４５の判定を、所定時間ごとに繰り返し実行する。そして、視線の移動があったと判定した場合（ステップＳ４５；ＹＥＳ）、動作処理部１６４は、移動後の視線に基づき注視点の位置を特定し、特定した注視点に対応する部分を、ステップＳ１２で取得した外景画像から切り出す（ステップＳ４６）。

表示位置制御部１６５は、ステップＳ４６で動作処理部１６４が切り出す外景画像について、表示位置及びサイズを決定する（ステップＳ４７）。動作処理部１６４は、ステップＳ４７で決定した位置及びサイズに従って、表示中の画像を、ステップＳ４６で切り出した外景画像に更新する（ステップＳ４８）。

その後、動作処理部１６４は、表示終了の条件が成立しているか否かを判定し（ステップＳ４９）、表示終了の条件が成立していない場合は（ステップＳ４９；ＮＯ）、ステップＳ４５に戻る。また、表示終了の条件が成立した場合（ステップＳ４９；ＹＥＳ）、ＡＲコンテンツの表示を停止する。表示終了の条件は、例えば、操作部１３５による終了の指示があること、ＡＲコンテンツの表示が完了したこと、等である。

このように、第２実施形態において、頭部装着型表示装置１００の制御部１４０は、画像取得部１６１が取得する外景画像の一部領域を画像表示部２０に表示し、視線センサー６８が検出する使用者の視線の方向に対応して、外景画像において画像表示部２０に表示する一部領域の位置を変化させる。このため、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。また、使用者の視線の変化に追従するように、外景画像の表示が変化するので、使用者には、外景が視線に合わせて移動するように見える。また、外景画像が使用者の視界より大きい範囲を含む場合、使用者には、視認できる範囲が拡大したように見える。このように、使用者の視線に合わせて、擬似的な外景を表示し、擬似的な外景の位置を変化させることで、外景の視認性に関する新たな操作感を提供できる。
また、動作処理部１６４は、画像表示部２０で表示する外景画像の表示輝度を調整し、実際の外景よりも表示画像が明瞭に視認できるようにすることができる。これにより、実際の外景と外景画像を混同することがなく、使用者を外景画像に注目させることができ、擬似的な外景を表示することの効果を、より顕著にすることができる。

［第３実施形態］
図１４は、第３実施形態に係る頭部装着型表示装置１００Ａを構成する各部の機能ブロック図である。
頭部装着型表示装置１００Ａは、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２を備える点を除き、第１実施形態の頭部装着型表示装置１００と共通の構成を有する。この共通の構成部については、同符号を付して説明を省略する。

詳細には、頭部装着型表示装置１００Ａは、画像表示部２０Ｂに、右透明ＬＣＤ２７１を有する右表示駆動部２２Ａと、左透明ＬＣＤ２７２を有する左表示駆動部２４Ａとを備える。右表示駆動部２２Ａは、上述した右表示駆動部２２に、透過型液晶表示パネルで構成される右透明ＬＣＤ２７１を設け、右透明ＬＣＤ２７１を右ＬＣＤ制御部２１１で駆動する構成である。また、左表示駆動部２４Ａは、上述した左表示駆動部２４に、透過型液晶表示パネルで構成される左透明ＬＣＤ２７２を設け、左透明ＬＣＤ２７２を左ＬＣＤ制御部２１２で駆動する構成である。

右ＬＣＤ制御部２１１が右透明ＬＣＤ２７１を駆動して表示する画像のデータ、及び、左ＬＣＤ制御部２１２が左透明ＬＣＤ２７２を駆動して表示する画像のデータは、画像処理部１６０から、送信部５１及び受信部５３を介して送信される。

図１５は、画像表示部２０Ｂが備える光学系の構成を示す要部平面図であり、説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図１５に示すように、右透明ＬＣＤ２７１は、右導光板２６１と調光板２０Ａとの間に配置される。右透明ＬＣＤ２７１は、右導光板２６１の、使用者の眼の側とは反対の側である画像表示部２０Ｂの表側を覆うように配置される。右透明ＬＣＤ２７１は光透過性を有し、調光板２０Ａを透過する外光ＯＬを、さらに右導光板２６１側に透過させる。
また、左透明ＬＣＤ２７２は、左導光板２６２と調光板２０Ａとの間に配置される。すなわち、左透明ＬＣＤ２７２は、左導光板２６２の、使用者の眼の側とは反対側である画像表示部２０Ｂの表側を覆うように配置される。左透明ＬＣＤ２７２は光透過性を有し、調光板２０Ａを透過する外光ＯＬを、さらに左導光板２６２側に透過させる。

右透明ＬＣＤ２７１、左透明ＬＣＤ２７２の光透過性は制限されないが、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の表示を視認可能な程度の光量の外光ＯＬを透過することが好ましい。また、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２を透過して、外景を視認できることは要求されない。

図１６は、頭部装着型表示装置１００Ａの動作を示すフローチャートである。また、図１７は、頭部装着型表示装置１００Ａの表示例を示す図であり、（Ａ）は右透明ＬＣＤ２７１、左透明ＬＣＤ２７２の表示の例を示し、（Ｂ）はハーフミラー２６１Ａ、２６２Ａによる表示の例を示す。（Ｃ）は右導光板２６１、左導光板２６２、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の表示が重なった状態を示す。
図１７（Ａ）〜（Ｃ）には使用者の右眼に対応する右透明ＬＣＤ２７１及び視野ＶＲの例を示す。使用者の左眼に対応する表示例は図１７（Ａ）〜（Ｃ）と同一の表示、または、表示位置が左右対称な同内容の表示となるため図示を省略する。

使用者が頭部装着型表示装置１００Ａを装着し（ステップＳ６１）、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、動作処理部１６４は、外景画像を取得する処理を実行する（ステップＳ６２）。ステップＳ６２の動作は、上述した第１実施形態の図５のステップＳ１２に示した動作と同様である。

動作処理部１６４は、視線センサー６８によって使用者の視線を検出する（ステップＳ６３）。動作処理部１６４は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、外景画像から、注視方向に対応する部分を切り出す処理を行う（ステップＳ６４）。

動作処理部１６４は、ステップＳ６４において、視線センサー６８を使用して使用者の視線を検出し、画像表示部２０を基準として使用者が注視する方向を特定する。この場合の基準は、画像表示部２０の右光学像表示部２６と左光学像表示部２８との中央位置や、ハーフミラー２６１Ａ、２６２Ａの中心等とすることができる。そして、動作処理部１６４は、外景画像と、使用者の視線方向との対応付けを行い、外景画像において使用者の視線方向に重なる位置、すなわち注視点を特定する。

動作処理部１６４は、注視点を基準として外景画像から切り出した画像を、右表示駆動部２２Ａ、左表示駆動部２４Ａにより表示し（ステップＳ６５）、続いて、外景画像を右透明ＬＣＤ２７１、左透明ＬＣＤ２７２により表示する（ステップＳ６６）。

図１７（Ａ）には右透明ＬＣＤ２７１の表示領域を符号Ｄ５で示す。表示領域Ｄ５には外景画像が表示される。この外景画像は画像表示部２０を装着した使用者が、同じ位置および同じ向きにおいて画像表示部２０を装着しない場合に視認できる外景を含む。頭部装着型表示装置１００Ａでは右透明ＬＣＤ２７１、左透明ＬＣＤ２７２があるため、使用者の眼に入射する外光ＯＬは外景を明瞭に視認できる程度の光量を有さない可能性がある。そこで、右透明ＬＣＤ２７１、２７２に外景画像を表示し、使用者が外景を認識できるようにする。但し、表示領域Ｄ５では、図１７（Ｂ）に示す表示領域Ｄ１に重なる位置に表示をしないことが望ましい。ハーフミラー２６１Ａ、２６２Ａは右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の画像光を透過するので、ハーフミラー２６１Ａ、２６２Ａの表示画像の視認性を確保するためには、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の表示画像がハーフミラー２６１Ａ、２６２Ａを避けた範囲であることが好ましい。図１７（Ａ）の表示領域Ｄ５はハーフミラー２６１Ａでは表示をしない構成となっている。

図１７（Ｂ）に示すように、表示領域Ｄ１には、外景画像から、使用者の視線に合わせて切り出した画像が表示される。また、右透明ＬＣＤ２７１に対応する表示領域Ｄ５には、図１７（Ａ）に示す外景画像の全体が表示される。使用者の眼には、表示領域Ｄ５に表示される画像と、表示領域Ｄ１に表示される画像とが重なって、図１７（Ｃ）に示すように視認される。
右透明ＬＣＤ２７１、左透明ＬＣＤ２７２は、右導光板２６１、左導光板２６２のように最適化された光学特性を持たない構成とすることがあり、表示領域Ｄ５に表示される画像は、表示領域Ｄ１に比べて不明瞭な画像に見える可能性がある。しかしながら、図１７（Ｃ）に示すように、使用者には、表示領域Ｄ１で視線方向に対応する明瞭な外景画像が視認され、その背景として、表示領域Ｄ５に外景画像の全体が表示される。このため、使用者には、外景画像の全体と、視線方向の一部とが視認されるため、直接外景を見ることができない使用者に、擬似的な外景を見せることができる。

動作処理部１６４は、視線センサー６８による視線の検出を行い、視線の移動があったか否かを判定する（ステップＳ６７）。すなわち、動作処理部１６４は、使用者の視線方向が、前回検出した視線方向から、予め設定されたしきい値を超えて変化したか否かを判定する。視線の移動がないと判定した場合（ステップＳ６７；ＮＯ）、動作処理部１６４は、視線センサー６８による視線検出とステップＳ６７の判定を、所定時間ごとに繰り返し実行する。そして、視線の移動があったと判定した場合（ステップＳ６７；ＹＥＳ）、動作処理部１６４は、移動後の視線に基づき注視点の位置を特定し、特定した注視点に対応する部分を、ステップＳ６２で取得した外景画像から切り出す（ステップＳ６８）。
表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａにより表示中の画像を、ステップＳ６８で切り出した外景画像に更新する（ステップＳ６９）。

その後、動作処理部１６４は、表示終了の条件が成立しているか否かを判定し（ステップＳ７０）、表示終了の条件が成立していない場合は（ステップＳ７０；ＮＯ）、ステップＳ６７に戻る。また、表示終了の条件が成立した場合（ステップＳ７０；ＹＥＳ）、ＡＲコンテンツの表示を停止する。表示終了の条件は、例えば、操作部１３５による終了の指示があること、ＡＲコンテンツの表示が完了したこと、等である。

このように、第３実施形態の頭部装着型表示装置１００Ａは、右透明ＬＣＤ２７１、左透明ＬＣＤ２７２における表示と、右導光板２６１、左導光板２６２による表示とを組合せて行う。右透明ＬＣＤ２７１、左透明ＬＣＤ２７２にはＡＲコンテンツ（例えば、外景画像）の全体を表示し、右導光板２６１、左導光板２６２にはＡＲコンテンツの一部を切り出した画像を表示する。これにより、２つの表示を組み合わせて効果的なＡＲ表示を行える。また、右導光板２６１、左導光板２６２に表示する画像が、使用者の視線方向に対応してＡＲコンテンツから切り出された画像であってもよい。また、ＡＲコンテンツから切り出された画像を拡大表示、または縮小表示してもよい。さらに、ＡＲコンテンツが、右カメラ６１及び左カメラ６２の撮像画像や、この撮像画像を用いて生成された外景画像である場合、使用者に擬似的に外景を視認させることができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部２０、２０Ｂに代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０、２０Ｂと制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０、２０Ｂと分離して構成され、制御装置１０と画像表示部２０、２０Ｂとの間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０、２０Ｂにおいて画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図１４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図４に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１３５のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図４、図１４に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０、２０Ｂに形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１０…制御装置、２０、２０Ｂ…画像表示部（表示部）、２１…右保持部、２２、２２Ａ…右表示駆動部、２３…左保持部、２４、２４Ａ…左表示駆動部、２５…インターフェイス、２６…右光学像表示部、２８…左光学像表示部、６１…右カメラ（撮像部）、６２…左カメラ（撮像部）、６４…距離センサー、６８…視線センサー（視線検出部）、１００、１００Ａ…頭部装着型表示装置（表示装置）、１１７…通信部（接続部）、１２０…記憶部、１２５…インターフェイス、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…画像取得部（外景画像取得部）、１６２…位置検出部、１６３…画像選択部、１６４…動作処理部、１６５…表示位置制御部、１８７…音声処理部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、２６１Ａ、２６２Ａ…ハーフミラー、２７１…右透明ＬＣＤ、２７２…左透明ＬＣＤ。

Claims (14)

1. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
   前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、
   前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、
   を備えることを特徴とする表示装置。
2. 前記制御部は、前記対象が前記表示部において前記情報が表示される範囲の外にある場合に、前記表示部により、視線を前記対象へ誘導する誘導表示を行うこと、
   を特徴とする請求項１記載の表示装置。
3. 前記制御部は、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認可能な範囲の外景の画像を、前記表示部に表示すること、
   を特徴とする請求項１または２記載の表示装置。
4. 前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記画像を表示する第１表示部と、前記第１表示部よりも外景側において前記第１表示部よりも広い範囲で視認される画像を表示する第２表示部と、を備え、
   前記制御部は、前記第２表示部により、視線を前記対象へ誘導する誘導表示を行うこと、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、
   前記使用者の視線を検出する視線検出部を備え、
   前記制御部は、前記視線検出部が検出する前記使用者の視線の方向に対応して前記表示部の表示を変化させること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記制御部は、前記外景画像取得部が取得する外景画像の一部領域を前記表示部に表示し、前記視線検出部が検出する前記使用者の視線の方向に対応して、前記外景画像において前記表示部に表示する一部領域の位置を変化させること、
   を特徴とする請求項５記載の表示装置。
7. 前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、
   前記外景画像取得部は、前記撮像部の撮像画像を前記外景画像として取得すること、
   を特徴とする請求項１から６のいずれかに記載の表示装置。
8. 前記外景画像取得部は、前記撮像部が撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、
   を特徴とする請求項７記載の表示装置。
9. 複数の前記撮像部を備え、
   前記外景画像取得部は、複数の前記撮像部がそれぞれ撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、
   を特徴とする請求項７または８記載の表示装置。
10. 外部機器に接続する接続部を備え、
    前記外景画像取得部は、前記接続部に接続する前記外部機器から前記外景画像を取得すること、
    を特徴とする請求項１から６のいずれかに記載の表示装置。
11. 現在位置を検出する位置検出部を備え、
    前記外景画像取得部は、前記接続部に接続する前記外部機器から、前記位置検出部が検出する現在位置に対応する前記外景画像を取得すること、
    を特徴とする請求項１０記載の表示装置。
12. 前記制御部は、前記外景画像取得部が取得した前記外景画像から前記対象の画像を抽出することにより、前記対象を認識すること、
    を特徴とする請求項１から１１のいずれかに記載の表示装置。
13. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御して、
    前記表示部を透過して視認される外景を含む外景画像を取得し、取得した前記外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示すること、
    を特徴とする表示装置の制御方法。
14. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備えた表示装置を制御するコンピューターを、
    前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、
    前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、
    して機能させるプログラム。

Images