JP2023048008A - ヘッドマウントディスプレイおよびクロスリアリティシステム - Google Patents

Abstract

【課題】ヘッドマウントディスプレイを使用して観察する場合に観察者が感じ易い違和感と疲れ眼を解消あるいは低減するために有利な技術を提供する【解決手段】ヘッドマウントディスプレイは、表示面を有する表示デバイスと、観察者の眼の焦点を前記表示デバイスに合わせるための光学系と、前記表示デバイスを駆動する駆動機構と、前記観察者の視線を検知する視線検知部と、前記視線検知部の出力に基づいて、前記視線と前記表示面とが交差する点において、前記視線と前記表示面とのなす角度が９０度に対して予め設定された許容範囲に収まるように前記駆動機構を制御する制御部と、を備える。【選択図】図２３

Description

本発明は、ヘッドマウントディスプレイおよびクロスリアリティシステム（仮想空間技術、空間拡張技術）に関する。

特許文献１には体験者の視線を検知して得た情報を使って、適切な位置に表示デバイスを移動させる視線追従型のヘッドマウントディスプレイが開示されている。

特開平９－６８６７０号公報

図３９は観察者がその眼３９０１によって２５０ｍｍ先に有る点物体３９２８を見ている様子を表している。眼３９０１のレンズである水晶体３９５９は光軸３９２９を有する。光軸３９２９は眼３９０１の視線に相当する。光軸３９２９の延長線上に有る点物体３９２８から出た光のうち眼３９０１の瞳３９４０に入射した光が網膜３９３１上の一点に焦点３９３２を形成するように水晶体３９５９の厚みが調節される。

ここで、網膜３９３１上の中心窩３９５２は、光軸３９２９に対して１～２度以内の傾きを持ち、かつ瞳３９４０の中心を通る光、例えば光３９６９や、光３９７０が入射する範囲に存在しうる。中心窩３９５２には視細胞が集中しており、観察者は点物体３９２８の周りの範囲３９７１に有る物を精緻に認識することが可能である。焦点３９３２は中心窩３９５２の略中心にある。

中心窩３９５２の外周領域３９６４にも視細胞がまばらに存在する。視細胞がまばらであるため、外周領域３９６４に焦点を形成した物を精緻に判別することは出来ない。しかし、外周領域３９６４は物の色、形、明るさ、遠近感を判断する上では必要な部分である。例えば、外周領域３９６４に有る焦点３９６５は点物体３９６６から瞳３９４０に入射した光が焦点を形成する点である。同様に、焦点３９６７は点物体３９６８から瞳３９４０に入射した光が焦点を形成する点である。これらの焦点３９６５、焦点３９６７は光学収差のため完全な焦点ではないが、それぞれ点物体３９６６、点物体３９６８から出た光が集光される微小領域である。

点物体３９２８、点物体３９６６、及び点物体３９６８を含む、それぞれ網膜３９３１上に焦点を形成する物体側の点物体の集合は略球面３９７２を形成する。球面３９７２は網膜３９３１を撮像面と考えた場合の物体側の合焦面として理解することができる。

合焦面３９７２より手前、即ち眼３９０１に近いところに有る点物体から発せられる光は網膜３９３１より後ろに焦点を形成する。そのため、網膜３９３１上で点物体の像はボケた像となる。逆に合焦面３９７２より後ろ、即ち眼３９０１から遠いところに有る点物体から発せられる光は網膜３９３１より手前に焦点を形成する。そのため、同様に網膜３９３１上で点物体の像はボケた像となる。

網膜３９３１上に形成される点物体像のボケ具合は、合焦面３９７２と点物体との距離が離れる程大きくなる。そのため合焦面３９７２は眼と点物体との遠近を推し量る基準となる。即ち網膜３９３１上の点物体像のボケ具合が小さければ、眼３９０１が見ている点物体３９２８と同等の距離、即ち合焦面３９７２近傍に有る点物体であると判断される。反対に点物体像のボケ具体が大きれば、点物体３９２８とは異なる距離、即ち合焦面３９７２から離れた位置に有る点物体であると判断される。

特許文献１には、前述のように観察者の視線を検知して得た情報を使って、適切な位置に表示デバイスを移動させる視線追従型のヘッドマウントディスプレイが開示されている。図４０は特許文献１のヘッドマウントディスプレイに映し出す映像を撮影するステレオカメラを示している。４００１は左眼用の画像を撮影するカメラである。４００２は右眼用画像を撮影するカメラである。夫々、図４０において、白線で示した平板イメージセンサーを内部に備えており、このイメージセンサー上が像側の合焦面となる様にレンズが設計されている。破線４００９は左眼用カメラ４００１で黒丸４００３の人物に焦点を合わせて撮像した場合の物体側の合焦面である。破線４０１０は右眼用カメラ４００２で黒丸４００３の人物に焦点を合わせて撮像した場合の物体側の合焦面である。合焦面４００９と合焦面４０１０は、見分け易い様に若干上下にずらして示しているが実際の合焦位置は両者の中間に有る。

同様に破線４０１１は左眼用カメラ４００１で黒バツ４００６の木に焦点を合わせて撮像した場合の合焦面であり、破線４０１２は右眼用カメラ４００２で木４００６に焦点を合わせて撮像した場合の合焦面である。先と同様に破線４０１１と破線４０１２は、見分け易い様に若干上下にずらして示してあるが実際の合焦位置は両者の中間にある。

黒丸４００３はカメラ４００１、４００２に対し近傍に居る人物が実際に居る場所を示している。グレーの丸４００４は左眼用カメラ４００１から見た合焦面４０１１上の人物像の位置であり、グレーの丸４００５は右眼用カメラ４００２から見た合焦面４０１２上の人物像の位置である。また、黒バツ４００６はカメラ４００１、４００２に対し遠方に有る木が実際に有る場所を示している。グレーのバツ４００７は左眼用カメラ４００１から見た合焦面４００９上の木像の位置であり、グレーのバツ４００８は右眼用カメラ４００２から見た合焦面４０１０上の木像の位置である。

図４１は図４０のステレオカメラで映した映像を示したものである。フレーム４１０９は左眼用カメラ４００１で黒丸４００３の人物に焦点を合わせて撮像した画像を示す。フレーム４１０９を合焦位置にて示したものが破線４００９である。フレーム４１０９の中央右寄りの人物像４１０３は、黒丸４００３の位置にいる人物の像である。また、左上部の木の像４１０７は、黒バツ４００６にある木の合焦面４００９の位置における像である。実際には合焦面４００９より遠方に有るためボケた像となっている。

同様にフレーム４１１０は右眼用カメラ４００２で黒丸４００３の人物に焦点を合わせて撮像した画像を示す。フレーム４１１０を合焦位置にて示したものが破線４０１０である。フレーム４１１０の中央右寄りの人物像４１０３は、黒丸４００３の位置にいる人物の像である。また、左上部の木の像４１０８は、黒バツ４００６にある木の合焦面４０１０の位置における像である。実際には合焦面４０１０より遠方に有るためボケた像となっている。

さらにフレーム４１１１、フレーム４１１２は夫々、左眼用カメラ４００１、右眼用カメラ４００２で黒バツ４００６の木に焦点を合わせて撮像した画像を示す。フレーム４１１１を合焦位置にて示したものが破線４０１１であり、フレーム４１１２を合焦位置にて示したものが破線４０１２である。フレーム４１１１、フレーム４１１２の中央右寄りの人物像４１０４、及び人物像４１０５は夫々、黒丸４００３の位置にいる人物の合焦面４０１１、及び合焦面４０１２の位置における像である。実際には、夫々合焦面４０１１、合焦面４０１２よりも手前に居るためボケた像となっている。左上部の木の像４１０６は黒バツ４００６にある木の像である。

図４２、図４３、図４４、図４５は特許文献１に開示されているヘッドマウントディスプレイ（以下ＨＭＤ）を使って図４０のステレオカメラで撮影した図４１の映像を観察する様子を表している。図４２は観察者が映像に映し出された人物を見ている様子を示している。同様に図４４は観察者が映像に映し出された木を見ている様子を示している。４２０１及び４４０１、４２０２及び４４０２は夫々、観察者の左眼、右眼である。４２１３及び４４１３、４２１４及び４４１４は夫々、左眼用表示デバイス、右眼用表示デバイスである。左眼用レンズ４２１５、４４１５、右眼用レンズ４２１６、４４１６は観察者の左眼４２０１、４０１、右眼４２０２、４４０２のピントが夫々左眼用表示デバイス４２１３、４４１３、右眼用表示デバイス４２１４、４４１４の表面に合う様に設計されている。

図４３は図４２のＨＭＤの表示デバイスに映る画像を示した図である。フレーム４３１３が表示デバイス４２１３のフレームである。破線で示したフレーム４３０９が図４１のフレーム４１０９に相当し、ステレオカメラ４００１で撮影した映像範囲である。表示デバイス４２１３には、フレーム４１０９の映像の内、右寄りの部分が切出されて表示されている。同様にフレーム４３１４が表示デバイス４２１４のフレームである。破線で示したフレーム４３１０が図４１のフレーム４１１０に相当し、ステレオカメラ４００２で撮影した映像範囲である。表示デバイス４２１４には、フレーム４１１０の映像の内、左寄りの部分が切出されて表示されている。

フレーム４３１３とフレーム４３１４とは夫々、人物４３０３を基準として同じ位置に有るフレームであり、フレーム４３１３とフレーム４３１４の映像を重ねるとフレーム４３２１の様に人物４３０３が一つに重なる。ここでフレーム４３１３の人物４３０３の像と、フレーム１４の人物４３０３の像とには視差が有るため、観察者には人物４３０３の像が立体的に感じられる。一方、木４３０７と木４３０８とは二つに分かれているが、夫々を左眼４２０１と右眼４２０２とで分けて観察しているため、立体視の効果により木は遠方に有る様に感じられる。

図４２において、黒丸４２１７は表示デバイス４２１３上で人物が映し出されている位置で有り、黒丸４２１８は表示デバイス４２１４上で人物が映し出されている位置である。また、グレーバツ４２１９は表示デバイス４２１３上で木が映し出されている位置で有り、グレーバツ４２２０は表示デバイス４２１４上で木が表示されている位置である。この時、観察者には左眼４２０１の視線と、右眼４２０２の視線とが交差する点、黒丸４２０３の位置に人物が居る様に感じられ、木はそれよりも遠方に有る様に感じられる。

図４５は図４４のＨＭＤの表示デバイスに映る画像を示した図である。フレーム４５１３が表示デバイス４４１３のフレームである。破線で示したフレーム４５０９が図４１のフレーム４１１１に相当し、ステレオカメラ４００１で撮影した映像範囲である。表示デバイス４４１３には、フレーム４１１１の映像の内、左寄りの部分が切出されて表示されている。同様にフレーム４５１４が表示デバイス４４１４のフレームである。破線で示したフレーム４５１０が図４１のフレーム４１１２に相当し、ステレオカメラ４００２で撮影した映像範囲である。表示デバイス４４１４には、フレーム４１１２の映像の内、右寄りの部分が切出されて表示されている。

フレーム４５１３とフレーム４５１４とは夫々、木４５０６を基準として同じ位置に有るフレームであり、フレーム４５１３とフレーム４５１４の映像を重ねるとフレーム４５２１の様に木４５０６が一つに重なる。一方、人物４５０４と人物４５０５とは二つに分かれているが、夫々を左眼４４０１と右眼４４０２とで分けて観察しているため、立体視の効果により人物は手前に有る様に感じられる。

図４４において、グレー丸４４１７は表示デバイス４４１３上で人物が映し出されている位置で有り、グレー丸４４１８は表示デバイス４４１４上で人物が映し出されている位置である。また、黒バツ４４１９は表示デバイス４４１３上で木が映し出されている位置で有り、黒バツ４４２０は表示デバイス４４１４上で木が表示されている位置である。この時、観察者には左眼４４０１の視線と、右眼４４０２の視線とが交差する点、黒バツ４４０６に木が有る様に感じられ、人物はそれよりも手前に居る様に感じられる。

ここで左眼４２０１の視線と右眼４２０２の視線とが交わる角度、あるいは左眼４４０１の視線と右眼４４０２の視線とが交わる角度が検知される。そして、それらの値から眼とそれが見ている物体との距離４２２２あるいは距離４４２２が計算されうる。そして、距離４２２２あるいは距離４４２２に基づいて、図４２の様に近傍視の場合は寄り眼に対応して左眼用表示デバイス４２１３を右に動かし、右眼用表示デバイス４２１４を左に動かすことができる。これにより、両者のギャップ４２２４を狭めることができる。また、近傍視の際の水晶体の厚みに対応する様に、両表示デバイスを下に動かし、両眼と両表示デバイスとの距離４２２３を小さくすることができる。逆に図４４の様に遠方視の場合には両眼の視線が並行に近づくことに対応して左眼用表示デバイス４４１３を左に動かし、右眼用表示デバイス４４１４を右に動かし、両眼と表示デバイスとの距離４４２３を大きくすることができる。

特許文献１に開示されているヘッドマウントディスプレイ（以下ＨＭＤ）を使って図４０のステレオカメラで撮影した図４１の映像を観察する図４２、図４３、図４４、図４５に記載の方法は、以下の点で実際に観察者が現場で人物及び木を見る状況と異なる。そのため、観察者に疲れ眼や違和感を生じる問題点が有った。

図４６、図４７、図４８、図４９は図４０のステレオカメラで撮影した景色を現場で観察者が見ている様子を表している。４６０１及び４８０１、４６０２及び４８０２は夫々、観察者の左眼、右眼である。左眼４６０１及び４８０１は図４０の左眼用カメラ４００１と同じ位置に有る。同様に右眼４６０２及び４８０２は図４０の右眼用カメラ４００２と同じ位置に有る。

図４６及び図４７は観察者が手前の人物を見ている状況を示している。左眼４６０１の視線と、右眼４６０２の視線とは、人物が居る黒丸４６０３の位置で交差する。円弧状の破線４６０９は図３９で説明した眼の円弧状合焦面で有り、左眼４６０１の合焦面である。そのため左眼４６０１の視線と円弧状合焦面４６０９との交点にて両者は直角に交差している。同様に円弧上の破線４６１０は右眼４６０２の合焦面で有り、右眼４６０２の視線と円弧状合焦面４６１０は、その交点にて直角に交差している。

図４２の方法が図４６の状況と異なる一つ目の点は合焦面４２０９が左眼４２０１の視線と直交していないことである。これにより視線の左側において左眼４２０１に近い手前の物体にピントが合い易く、視線の右側において左眼４２０１から遠い奥の物体にピントが合い易いという不均衡が生じている。同様に合焦面４２１０が右眼４２０２の視線と直交していないために、視線の左側において右眼４２０２に近い手前の物体にピントが合い易く、視線の右側において右眼４２０２から遠い奥の物体にピントが合い易いという不均衡が生じている。

比較して図４６では合焦面４６０９が視線と直交しているため、視線の左側と右側で左眼４６０１からの距離に対して均等にピントが合い易い状況に有る。この差が観察者の違和感と疲れ眼の一因になる。

図４２の方法が図４６の状況と異なる二つ目の点は合焦面の形状差に依る。図４２の合焦面４２１０と右眼４２０２の視線とは略直交している。しかし、その形状は略平面で有りこれは図４６の合焦面４６１０の略球面と異なる。そのため被写体と合焦面との距離が変化するため被写体のボケ度合が異なる。これは、例え右眼用カメラ４００２の被写界深度と図４６の右眼４６０２の被写界深度を合わせることが出来たとしても解消されない。

例えば図４６において木が有る黒バツ４６０６と合焦面４６１０上の木の像４６０８との距離は、図４２において木が有る黒バツ４２０６と合焦面４２１０上の木の像４２０８との距離よりも大きい。そのため、例え右眼用カメラ４００２の被写界深度と図４２の右眼４２０２の被写界深度が同じだったとしても木の像４６０８と木の像４２０８のボケ度合が異なる。図４３の木の像４３０８の線と、図４７の木の像４７０８の線との太さの違いはそのことを明示している。このボケ度合の違いも観察者の違和感と疲れ眼の一因となる。

図４２の方法が図４６の状況と異なる三つ目の点は視線の先である黒丸４２０３に相当する図４３の人物４３０３が視野を表すフレーム４３１３、及びフレーム４３１４の中心に無いことである。図４６において視線の先である黒丸４６０３に相当する図４７の人物４７０３は視野を表すフレーム４７０９、及びフレーム４７１０の中心に有る。これは人間の眼が、視線の動きに合わせて視野が動く様に出来ており、常に視線の先が視野の中心に有るためである。しかも、特殊な場合を除き、略全てにおいて、常に視線の先でピントが合う様に調節されるためである。比較して図４２のシステムの場合、図４３に示す様に視野の中心以外でピントが合っており、しかもこの状態でピントの合っていない木４３０７や、木４３０８に視線を移すことが出来てしまう。このことが観察者の違和感と疲れ眼の一因となる。

図４２の方法が図４６の状況と異なる四つ目の点は、図４３のフレーム４３２１と図４７のフレーム４７２１との比較において説明される。前述の様に合焦面４２０９と合焦面４６０９、とが異なり、合焦面４２１０と合焦面４６１０が異なる。これにより、フレーム４３２１における人物４３０３と木４３０７、あるいは人物４３０３と木４３０８との位置関係が、フレーム４７２１における人物４７０３と木４７０７、あるいは人物４７０３と木４７０８との位置関係と異なってしまう。特にフレーム４３２１における木４３０７と木４３０８との距離４３２５と、フレーム４７２１における木４７０７と木４７０８との距離４７２５とが異なる。これらの距離４３２５と距離４７２５とは立体視を行う際、人間の頭の中で人物と木との距離を判断するための大事なファクターとなっており、これらが異なる場合、人物と木との距離が実際と違って感じられるため違和感と疲れ眼の原因となる。立体視映像が感覚に反して妙に画面から飛び出して見える、斜めから見た場合に浮いて見える等の違和感が生じるのはこのためである。

上記一つ目から四つ目の異なる点は図４４及び図４５と、図４８及び図４９との比較においても同様に理解される。図４８、及び図４９は観察者が遠方の木を見ている状況を示している。左眼４８０１の視線と、右眼４８０２の視線とは、木が有る黒バツ４８０６の位置にて交差する。円弧状の破線４８１１は図３９で説明した眼の円弧状合焦面で有り、左眼４８０１の合焦面である。そのため左眼４８０１の視線と円弧状合焦面４８１１との交点にて両者は直角に交差している。同様に円弧上の破線４８１２は右眼４８０２の合焦面で有り、右眼４８０２の視線と円弧状合焦面４８１２は、その交点にて直角に交差している。

図４４の方法が図４８の状況と異なる一つ目の点は合焦面４４１１が左眼４４０１の視線と直交していないことである。これにより視線の左側において左眼４４０１に遠い奥の物体にピントが合い易く、視線の右側において左眼４４０１に近い手前の物体にピントが合い易いという不均衡が生じている。同様に合焦面４４１１が右眼４４０２の視線と直交していないために、視線の左側において右眼４４０２から遠い奥の物体にピントが合い易く、視線の右側において右眼４４０２から近い手前の物体にピントが合い易いという不均衡が生じている。

比較して図４８では合焦面４８１１が視線と直交しているため、視線の左側と右側で左眼４８０１からの距離に対して均等にピントが合い易い状況に有る。この差が観察者の違和感と疲れ眼の一因になる。

図４４の方法が図４８の状況と異なる二つ目の点は合焦面の形状差に依る。図４４の合焦面４４１０、及び合焦面４４１１の形状は略平面で有り、これは図４８の合焦面４８１１、及び合焦面４８１２の略球面と異なる。そのため図４４の場合と、図４８の場合とで被写体と合焦面との距離が変化するため被写体のボケ度合が異なる。これは、例え左眼用カメラ４００１の被写界深度と図４８の左眼４８０１の被写界深度を合わせ、同様に右眼用カメラ４００２の被写界深度と図４８の右眼４８０２の被写界深度を合わせることが出来たとしても解消されない。

例えば図４８の人物が実際に居る黒丸４８０３の位置と、合焦面４８１２上の人の像であるグレー丸４８０５の位置との距離は、図４４の人物が実際に居る黒丸４４０３の位置と、合焦面４４１２上の人の像であるグレー丸４４０５との距離よりも大きい。そのためグレー丸４８０５の人物像のボケ度合がグレー丸４４０５の人物像のボケ度合よりも大きい。図４５の人物像４５０５の線と、図４９の人物像４９０５の線との太さの違いはそのことを明示している。このボケ度合の違いも観察者の違和感と疲れ眼の一因となる。

図４４の方法が図４８の状況と異なる三つ目の点は視線の先である黒バツ４４０６に相当する図４５の木４５０６が視野の中心に無いことである。図４８において視線の先である黒バツ４８０６に相当する図４９の木４９０６は視野を表すフレーム４９０９、及びフレーム４９１０の中心に有る。これは人間の眼が、視線の動きに合わせて視野が動く様に出来ており、常に視線の先が視野の中心に有るためである。しかも、特殊な場合を除き、略全てにおいて、常に視線の先でピントが合う様に調節されるためである。比較して図４４のシステムの場合、図４５に示す様に視野の中心以外でピントが合っており、しかもこの状態でピントの合っていない人物４５０４や、人物４５０５に視線を移すことが出来てしまう。このことが観察者の違和感と疲れ眼の一因となる。

図４４の方法が図４８の状況と異なる四つ目の点は、図４５のフレーム４５２１と図４９のフレーム４９２１との比較において説明される。前述の様に合焦面４４１１と合焦面４８１１とが異なり、合焦面４４１２と合焦面４８１２とが異なる。これに起因して、フレーム４５２１における人物４５０４と木４５０６、あるいは人物４５０５と木４５０６との位置関係が、フレーム４９２１における人物４９０４と木４９０６、あるいは人物４９０４と木４９０６との位置関係と異なってしまう。特にフレーム４５２１における人物４５０４と人物４５０５との距離４５２５と、フレーム４９２１における人物４９０４と人物４９０５との距離４９２５とが異なる。これらの距離４５２５と距離４９２５とは立体視を行う際、人間の頭の中で人物と木との距離を判断するための大事なファクターとなっており、これらが異なる場合、人物と木との距離が実際と違って感じられるため違和感と疲れ眼の原因となる。立体視映像が感覚に反して妙に画面から飛び出して見える、斜めから見た場合に浮いて見える等の違和感が生じるのはこのためである。

さらに、前述の四つの異なる点に起因した疲れ眼とは異なる疲れ眼の原因が従来のＨＭＤには有った。図４２の状態において表示デバイス４２１３と左眼４２０１の視線とは直交していない。また、表示デバイス４２１４と右眼４２０２の視線とも直交していない。そのためレンズ４２１５の光軸と、左眼４２０１の視線とが一致せず、かつレンズ４２１６の光軸と右眼４２０２の視線とも一致しない。これは観察者が見たい視線の先の映像がレンズ４２１５、及びレンズ４２１６の光学収差の影響を受け易いことを意味する。これは図４４の状態においても同様である。つまり従来のＨＭＤでは観察者が真正面の遠方を見る場合にのみレンズの光軸と視線とが一致し、その他の大部分の場合はレンズの光学収差の影響を受けて疲れ眼を生じ易かった。また、この収差の影響を抑えるために光学系が複雑化し大型化する問題も有った。

本発明は、ＨＭＤを使用して観察する場合に観察者が感じ易い違和感と疲れ眼を解消あるいは低減するために有利な技術を提供する。

本発明の１つの側面は、表示面を有する表示デバイスと、観察者の眼の焦点を前記表示デバイスに合わせるための光学系と、を備えるヘッドマウントディスプレイに係り、前記ヘッドマウントディスプレイは、前記表示デバイスを駆動する駆動機構と、前記観察者の視線を検知する視線検知部と、前記視線検知部の出力に基づいて、前記視線と前記表示面とが交差する点において、前記視線と前記表示面とのなす角度が９０度に対して予め設定された許容範囲に収まるように前記駆動機構を制御する制御部と、を備える。

本発明によれば、ＨＭＤを使用して観察する場合に観察者が感じ易い違和感と疲れ眼を解消あるいは低減するために有利な技術が提供される。

第１実施形態を説明する図である。 第１実施形態を説明する図である。 第１実施形態を説明する図である。 第１実施形態を説明する図である。 第２実施形態を説明する図である。 第１実施形態を説明する図である。 第１実施形態を説明する図である。 第１実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第２実施形態を説明する図である。 第１実施形態を説明する図である。 第２実施形態を説明する図である。 第１実施形態を説明する図である。 第２実施形態を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例１を説明する図である。 実施例２を説明する図である。 実施例３を説明する図である。 実施例４を説明する図である。 実施例５を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。 課題を説明する図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

第１実施形態を図１乃至図８に基づいて説明する。第１実施形態のヘッドマウントディスプレイ（以下、ＨＭＤ）の一状態を図１に示す。ＨＭＤは観察者の左眼０１０１用の表示デバイス０１１３と、左眼０１０１の焦点を表示デバイス０１１３の表示面に合わせるためのレンズ（光学系）０１１５とを有する。同様に、ＨＭＤは右眼０１０２用の表示デバイス０１１４と、右眼０１０２の焦点を表示デバイス０１１４の表示面に合わせるためのレンズ（光学系）０１１６とを有する。

レンズ０１１５と表示デバイス０１１３とは、レンズ０１１５の光軸と表示デバイス０１１３の中心法線とが一致する様に５軸に関して調整されうる。さらにレンズ０１１５と表示デバイス０１１３との距離０１２６は所定の距離となる様に６軸目に関しても調整されうる。レンズ０１１５と表示デバイス０１１３とで一つの左眼用の表示モジュールが構成されうる。前述の６軸調整の範囲としては併進距離が±４０ｕｍ以内、より好ましくは±４ｕｍ以内であり、角度が±４０分角以内、より好ましくは±４分角以内である。ここで、距離０１２６を前記所定の距離から所定の可動範囲内で変えることを可能とする不図示の機構が左眼用表示モジュールに備えられうる。また、レンズ０１１６と表示デバイス０１１４も同様に右眼用表示モジュールを構成しうる。

左眼０１０１と黒丸０１０３とを結ぶ線が左眼０１０１の視線である。左眼０１０１の視線とレンズ０１１５の光軸とが一致する様に、左眼用表示モジュールの位置を調節する不図示の調節機構がＨＭＤに備えられうる。さらに、表示デバイス０１１３と左眼０１０１との距離０１２６が所定の距離となる様に左眼用表示モジュールの位置を調節する機構も備えられうる。これにより、観察者の左眼０１０１の水晶体の厚みが所定の範囲で変化しても、それに合わせて左眼用表示モジュール内のレンズ０１１５と表示デバイス０１１３との距離０１２６を調節することができる。これにより、左眼０１０１の焦点を表示デバイス０１１３の面に合わせることができる。これらの位置調節の精度は前述の６軸調整範囲と同様である。

左眼用表示モジュールの位置調節機構によって、左眼０１０１の視線と表示デバイス０１１３との交点において、左眼０１０１の視線と表示デバイス０１１３の表示面とが成す角θが略垂直にされる。θの範囲は±６０分角以内、より好ましくは±６分角以内である。右眼用表示モジュールの位置調節機構も前述の左眼用表示モジュールの場合と同様にＨＭＤに備えられうる。右眼０１０２の視線と表示デバイス０１１４との交点において、右眼０１０２の視線と表示デバイス０１１４の表示面とが成す角θも略垂直にされうる。

図１で示した第１実施形態のＨＭＤについて、別の状態を図３に示す。左眼０３０１の視線の向きが図１の左眼０１０１の視線の向きと異なる。また、右眼０３０２の視線の向きと、図１の右眼０１０２の視線の向きとも異なる。

第１実施態例のＨＭＤには不図示の視線検知部が備えられうる。その視線検知部で左眼０３０１の視線を検知し、その検知情報を元にレンズ０３１５と、表示デバイス０３１３とからなる左眼用表示モジュールの位置を調節する不図示の機構が備えられうる。この機構により、図３においても左眼０３０１の視線と表示デバイス０３１３との交点０３１９において、左眼０３０１の視線と表示デバイス０３１３の表示面とがなす角θが略垂直に維持されうる。ここでも、θの範囲は±６０分角以内、より好ましくは±６分角以内である。

同様に視線検知部によって右眼０３０２の視線も検知され、その検知情報を元にレンズ０３１６と表示デバイス０３１４とからなる右眼用表示モジュールの位置を調節する不図示の調節部（後述の駆動機構Ｄおよび制御部Ｃで構成される調節部Ａに相当する。）が備えられうる。この調節部により、右眼０３０２の視線と表示デバイス０３１４の表示面との交点０３２０において、右眼０３０２の視線と表示デバイス０３１４の表示面とがなす角θも略垂直に維持あるいは調整されうる。ここでも、θの範囲は±６０分角以内、より好ましくは±６分角以内である。

図１、図３で示した視線の方向以外の方向に視線が向いた場合も常に、同様の調節部によって視線と表示デバイスの表示面との交点において、視線と表示デバイスの表示面との成す角θが常に略垂直になる様に制御されうる。この様に視線と表示デバイスの表示面とがなす角θを垂直に保つことによって、従来のＨＭＤで生じていた疲れ眼の要因の二つが解消される。

一つ目の要因は、従来のＨＭＤでは視線が正面を向く以外の状態において、図４２や図４４の例の様に表示デバイスの表示面と眼の視線とが直交せず、そのために生じる光学収差影響による疲れ眼であるが、それが解消される。また、この収差の影響を抑えるために光学系が複雑化し大型化することも防ぐことが可能である。

二つ目の要因は、図４２と図４６、及び図４４と図４８との比較において説明した従来のＨＭＤで観察する場合と、実際の現場において眼で観察する場合とが異なる三つ目の点である。即ち従来のＨＭＤでは、観察者が見たい視線の先の物体が常に視野の中心に有る訳では無いために疲れ眼生じる。第１実施形態では視線の先が表示デバイスの中心に常に保持されるために、観察者が見たい映像が視野の中心に常に保たれ、よって、疲れ眼の要因のもう一つが解消される。

図５は左眼用カメラモジュール０５０１を用いて図１の表示デバイス０１１３に映し出す映像を撮像し、右眼用カメラモジュール０５０２を用いて図１の表示デバイス０１１４に映し出す映像を撮像する様子を示した図である。図１の左眼０１０１の視線検知情報を受けて、カメラモジュール０５０１の光軸が左眼０１０１の視線と同じ方向を向く様に左眼用カメラモジュール０５０１の姿勢を制御する不図示の姿勢制御部が設けられうる。同様に右眼用カメラモジュール０５０２の光軸が右眼０１０２の視線と一致する様に右眼用カメラモジュール０５０２の姿勢を制御する不図示の姿勢制御部が設けられうる。

カメラモジュール０５０１、及びカメラモジュール０５０２には白線で示した平板状のイメージセンサーが内蔵されうる。破線０５０９、及び破線０５１０は夫々、カメラモジュール０５０１、及びカメラモジュール０５０２の物体側の焦点面を示している。したがって、破線０５０９上の物体はカメラモジュール０５０１のレンズを通して、白線で示したイメージセンサー上に結像される。同様に破線０５１０上の物体はカメラモジュール０５０２のレンズを通して、白線で示したイメージセンサー上に結像される。

図５において、カメラモジュール０５０１の光軸とカメラモジュール０５０２の光軸との交点にある黒丸０５０３には人物が居る。また、左手遠方の黒バツ０５０６には木が有る。カメラモジュール０５０２と黒バツ０５０６とを結ぶ一点鎖線と、破線０５１０は交点を有する。したがってカメラモジュール０５０２の撮影画像には木が写る。それをグレーのバツ０５０８で示している。実際にグレーのバツ０５０８の位置に木が有れば、カメラモジュール０５０２の撮像画像内の木の映像はピントが有った映像となるが、実際には木は黒バツ０５０６の位置に有るため、黒バツ０５０６とグレーバツ０５０８との距離に比例してボケた映像となる。

一方、カメラモジュール０５０１と黒バツ０５０６とを結ぶ一点鎖線は、破線０５０９との交点を持たず、破線０５０９の延長線である一点鎖線との交点を持つ。それをグレー鎖線のバツ０５０７で示してある。したがってカメラモジュール０５０１の撮影画像には木が写らない。

図６は図５のカメラモジュールで撮影した撮影画像を示した図である。フレーム０６０９は図５の破線０５０９に相当し、フレーム０６１０は図５の破線０５１０に相当する。図５でカメラモジュール０５０１の光軸上の黒丸０５０３に人物が居るため、図６のフレーム０６０９の中心に人物像０６０３が写っている。同様にカメラモジュール０５０２の光軸上にも黒丸０５０３が有り、そこに人物が居るため、図６のフレーム０６１０の中心に人物像０６０３が写っている。両方の人物像０６０３にはカメラモジュール０５０１とカメラモジュール０５０２の視差が有るため、両方ともフレームの中心に有るが同じ像ではない。フレーム０６１０の左上端には木の像０６０８が写っているが、先に述べた理由でボケた画像となっている。そのことをグレーの中太線で明示している。一方、フレーム０６０９には先に述べた理由で木の像は映っていない。

図２は図６の撮影画像を図１の表示デバイスに表示した状態を示した図である。図６のフレーム０６０９の撮影画像は図１の表示デバイス０１１３に表示される。その表示された映像を示したものが図２のフレーム０２１３である。同様に図６のフレーム０６１０の撮影画像は図１の表示デバイス０１１４に表示される。その表示された映像を示したものが図２のフレーム０２１４である。観察者は左眼０１０１でフレーム０２１３の映像を見て、右眼０１０２でフレーム０２１４の映像を見るため頭の中では両者が合成される。その様子を示したものがフレーム０２２１である。中心の人物像０２０３は一つであるが、視差を含むフレーム０２１３の人物像０２０３と、フレーム０２１４の人物像０２０３とが重なったものであり、立体的に感じられる。また、木の像０２０８は右眼０１０２だけに感じられることや、木の像のボケ具合から人物像０２０３との空間的距離感が頭の中で推し測られる。

図１において表示デバイス０１１３、表示デバイス０１１４、レンズ０１１５、及びレンズ０１１６が無いものとし、黒丸０１０３に居る人物を観察者が見る場合を考える。この場合、左眼０１０１の水晶体、及び右眼０１０２の水晶体は黒丸０１０３に居る人物にピントを合わせるために夫々、所定の厚みに調整される。その所定の厚みを保ったまま実際に有る表示デバイス０１１３上の人物像０１１７を左眼０１０１の網膜上に結像させることは、表示デバイス０１１３とレンズ０１１５との距離０１２６を調整することで可能である。同じく所定の厚みを保ったまま実際に有る表示デバイス０１１４上の人物像０１１８を右眼０１０２の網膜上に結像させることは、表示デバイス０１１４とレンズ０１１６との距離０１２７を調整することで可能である。その様な調整を行ったとき、観察者に感じられる左眼０１０１の合焦面は破線０１０９であり、右眼０１０２の合焦面は破線０１１０となり、図５のカメラモジュール０５０１の合焦面０５０９と、カメラモジュール０５０２の合焦面０５１０が再現される。

次に、図３に示す様に観察者の意識が人物から遠方の木０３０６に移った場合、左眼０３０１の視線は左眼０３０１と黒バツ０３０６とを結ぶ一点鎖線に移る。同様に右眼０３０２の視線は右眼０３０２と黒バツ０３０６とを結ぶ一点鎖線に移る。この視線の変化を前述の不図示の視線検知部で検知し、これがカメラモジュール０５０１、及びカメラモジュール０５０２の姿勢を制御する不図示の調節部に伝えられる。その結果、カメラモジュール０５０１の光軸が図３の左眼０３０１の視線に一致し、かつカメラモジュール０５０２の光軸が図３の右眼０３０２の視線に一致する。その状態を示した図が図７である。

図７において、カメラモジュール０７０１の光軸とカメラモジュール０７０２の光軸との交点にある黒バツ０７０６には木が有る。また、右手手前の黒丸０７０３には人物が居る。カメラモジュール０７０２と黒丸０７０３とを結ぶ破線と、破線０７１２は交点を有する。したがってカメラモジュール０７０２の撮影画像には人物が写る。それをグレーの丸０７０５で示している。実際にグレーの丸０７０５の位置に人物が居れば、カメラモジュール０７０２の撮像画像内の人物像はピントが有った映像となるが、実際には人物は黒丸０７０３の位置に居るため、黒丸０７０３とグレー丸０７０５との距離に比例してボケた映像となる。一方、カメラモジュール０７０１と黒丸０７０３とを結ぶ破線は、破線０７１１との交点を持たず、破線０７１１の延長線である一点鎖線との交点を持つ。それを白抜きグレー丸０７０４で示してある。したがってカメラモジュール０７０１の撮影画像には人物が写らない。

図８は図７のカメラモジュールで撮影した撮影画像を示した図である。フレーム０８１１は図７の破線０７１１に相当し、フレーム０８１２は図７の破線０７１２に相当する。図７でカメラモジュール０７０１の光軸上の黒バツ０７０６に木が有るため、図８のフレーム０８１１の中心に木の像０８０６が写っている。同様にカメラモジュール０７０２の光軸上にも黒バツ０７０６が有り、そこに木が有るため、図８のフレーム０８１２の中心に木の像０８０６が写っている。両方の木像０８０６にはカメラモジュール０７０１とカメラモジュール０７０２の視差が有るため、両方ともフレームの中心に有るが同じ像ではない。フレーム０８１２の右下端には人物像０８０５が写っているが、先に述べた理由でボケた画像となっている。そのことをグレーの大太線で明示している。一方、フレーム０８１１には先に述べた理由で人物像は映っていない。

図４は図８の撮影画像を図３の表示デバイスに表示した状態を示した図である。図８のフレーム０８１１の撮影画像は図３の表示デバイス０３１３に表示される。その表示された映像を示したものが図４のフレーム０４１３である。同様に図８のフレーム０８１２の撮影画像は図３の表示デバイス０３１４に表示される。その表示された映像を示したものが図４のフレーム０４１４である。観察者は左眼０３０１でフレーム０４１３の映像を見て、右眼０３０２でフレーム０４１４の映像を見るため頭の中では両者が合成される。その様子を示したものがフレーム０４２１である。中心の木像０４０６は一つであるが、視差を含むフレーム０４１３の木像０４０６と、フレーム０４１４の木像０４０６とが重なったものであり、立体的に感じられる。また、人物像０４０５は右眼０３０２だけに感じられることや、人物像のボケ具合から木像０４０６との空間的距離感が頭の中で推し測られる。

図３において表示デバイス０３１３、表示デバイス０３１４、レンズ０３１５、及びレンズ０３１６が無いものとし、黒バツ０３０６に有る木を観察者が見る場合を考える。左眼０３０１の水晶体、及び右眼０３０２の水晶体は黒バツ０３０６に有る木にピントを合わせるために夫々、所定の厚みに調整される。その所定の厚みを保ったまま実際に有る表示デバイス０３１３上の木像０３１９を左眼０３０１の網膜上に結像させることは、表示デバイス０３１３とレンズ０３１５との距離０３２６を調整することで可能である。同じく所定の厚みを保ったまま実際に有る表示デバイス０３１４上の木像０３２０を右眼０３０２の網膜上に結像させることは、表示デバイス０３１４とレンズ０３１６との距離０３２７を調整することで可能である。その様な調整を行ったとき、観察者に感じられる左眼０３０１の合焦面は破線０３１１であり、右眼０３０２の合焦面は破線０３１２となり、図７のカメラモジュール０７０１の合焦面０７１１と、カメラモジュール０７０２の合焦面０７１２が再現される。

ＨＭＤとカメラモジュールとを備えるクロスリアリティシステムではカメラモジュールの光軸がＨＭＤを利用する観察者の視線と略同じ方向を向く様にリアルタイムに制御がなされうる。また、このクロスリアリティシステムではかつカメラモジュールの撮像がＨＭＤの表示デバイスにリアルタイムに表示される。これにより、従来のＨＭＤで生じた疲れ眼の問題が軽減される。

尚、ここではＨＭＤの他にカメラモジュールを用いてリアルタイムで視線情報と撮像データの交換をＨＭＤとカメラモジュールとの間で行う例を挙げたが、カメラモジュールが無くてもよい。その場合は図１の合焦面０１０９、０１１０（あるいは図３の合焦面０３１１、０３１２に相当する合焦面、より好ましくは図４６の合焦面４６０９、４６１０、図４８の合焦面４８１１、４８１２に相当する合焦面。）がＨＭＤを利用する観察者の前に、観察者の視線の向きに合わせて再現される様に、ＨＭＤの表示デバイスに映し出す映像をリアルタイムにＣＧ処理すればよい。これにより、カメラモジュールを用いる場合と同様に従来のＨＭＤで生じた疲れ眼の問題を軽減できる。

また、カメラモジュールを用いる場合もリアルタイム性を保持可能な程度にカメラモジュールが観察者から遠方に合ってもよいし、同じＨＭＤの中に組み込まれていてもよい。カメラモジュールが人間の眼では見えない波長の光を捉えるものであってもよい。あるいは、カメラモジュールの撮像に文字や映像を重ねる処理を行ってＨＭＤの表示デバイスに映してもよい。

以下、第１実施形態によって従来のＨＭＤで生じた疲れ眼の問題が軽減される理由を説明する。従来のＨＭＤに有った疲れ眼の要因の一つ目は図４２や図４４の状態で合焦面４２０９、合焦面４２１０、合焦面４４１１、及び、合焦面４４１２が観察者の視線と直交していなことであった。そのために視線の左側と視線の右側でピントの合い易さに不均衡が生じ、現場で実際に観察している場合である図４６や図４８の場合と異なる違和感を観察者が受けるのである。図１、図３に示した本実施形態の場合、図４６や図４８の場合と同様に合焦面０１０９、合焦面０１１０、合焦面０３１１、及び合焦面０３１２が視線と直交しているため、その様な違和感は解消される。これは図１、図３以外の方向に視線が向く場合も同様である。

従来のＨＭＤに有った疲れ眼の要因の三つ目は視線の先が視野の中心に無いことであった。図４２や図４４で、視線の先の見たい被写体が視野の中心でないことが、現場で実際に観察している場合である図４６や図４８の様に見たい被写体が視野の中心に有る場合との違いとなり、そこから観察者が違和感を受けて疲れ眼の要因となっていた。第１実施形態の図１や図３の場合、視線の先は視野の中心となっているため、その様な違和感は解消される。これは図１、図３以外の方向に視線が向く場合も同様である。

従来のＨＭＤに有った疲れ眼の要因の四つ目は、視線の先の注目している物体よりも奥、あるいは手前に有り、かつ左眼と右眼とで見える位置に視差を生じている物体に関して、現場で実際に観察している場合と視差の度合が異なることであった。例えば図４３において遠くの木４３０７と４３０８との視差４３２５は小さいためにフレーム４３２１には両方が映ってしまう。しかし、現場で実際に観察している場合の図４７において遠くの木４７０７と４７０８との視差４７２５は大きいためフレーム４７２１には片方しか映らない。第１実施形態の図２においては遠くの木０２０７と０２０８との視差０２２５が大きいためフレーム０２２１には図４７と同様に片方しか映らない。

同様のことが図４５に関してもいえる。近くの人物４５０４と４５０５との視差４５２５は小さいためフレーム４５２１には両方が映ってしまう。一方、現場で実際に観察している場合の図４９において近くの人物４９０４と４９０５との視差４９２５は大きいためフレーム４９２１には片方しか映らない。第１実施形態の図４においては近くの人物０４０５と０４０４との視差０４２５が大きいためフレーム０４２１には図４９と同様に片方しか映らない。

したがって、第１実施形態の場合に観察者が感じる人物と木との距離感は、現場で実際に観察している場合に近いものとなる。これによって、従来のＨＭＤで生じていた違和感が軽減され疲れ眼も軽減される。

第１実施形態について補足する。図１で左眼０１０１と表示デバイス０１１３との距離と、右眼０１０２と表示デバイス０１１４との距離は同じである。左眼０１０１の焦点が表示デバイス０１１３の表面に合う様に表示デバイス０１１３とレンズ０１１５との距離０１２６が決められ、右眼０１０２の焦点が表示デバイス０１１４の表面に合う様に表示デバイス０１１４とレンズ０１１６との距離０１２７が決められる。この様な焦点の調整手法は実現が容易であるが、それらの位置関係はこの限りでは無い。即ち眼とレンズとの距離が一定で、眼と表示デバイスとの距離を調整して焦点を合わせてもよいし、眼とレンズとの距離と、眼と表示デバイスとの距離との両方を調節する方式でもよい。また、図１では左眼用、右眼用、夫々レンズは一枚で有るが光学収差を補正するために複数であってもよいし、一定の波長のみを透過する平板の透光性部材が間にあってもよい。

第２実施形態のヘッドマウントディスプレイ（以下、ＨＭＤ）の一状態を図９に示す。第２実施形態は左眼用表示デバイス０９１３および右眼用表示デバイス０９１４が平板では無く、曲面である点が第１実施形態と異なる。第２実施形態の様に曲面表示デバイスを使用したことでＨＭＤを小型化することが可能となる。図９の表示デバイス０９１３と左眼０９０１との距離は図１の表示デバイス０１１３と左眼０１０１との距離よりも短く、同様に表示デバイス０９１４と右眼０９０２との距離は表示デバイス０１１４と右眼０１０２との距離よりも短い。

図１７、図１８は平面表示デバイスの場合と曲面表示デバイスの場合を比較するための図である。図１７においては、表示デバイス１７１３の表示面は曲面であり、この曲面は半球面、あるいは球面の一部となっている。レンズ（光学系）１７１５は表示デバイス１７１３から発せられた光を眼１７０１の網膜上に結像させる様に形状と位置が設計されている。表示デバイス１７１３の中心から出て角度１７３３に入る光は瞳１７４０によって蹴られることなく眼１７０１に入射し、網膜の中心窩に結像する様子が光線追尾計算の結果として描かれている。同様に表示デバイスの中心から距離１７３７及び距離１７３６離れたところから発せられた光の一部も瞳１７４０によって蹴られることなく眼１７０１に入射し、網膜上の中心窩から夫々、距離１７３９及び距離１７３８離れたところに結像する様子が描かれている。

一方、図１８においては、表示デバイス１８１３は平板である。レンズ１８１５は表示デバイス１８１３から発せられた光を眼１８０１の網膜上に結像させる様に形状と位置が設計されている。表示デバイス１８１３の中心から出て角度１８３３に入る光は瞳１８４０によって蹴られることなく眼１８０１に入射し、網膜の中心窩に結像する様子が光線追尾計算の結果として描かれている。同様に表示デバイスの中心から距離１８３７及び距離１８３６離れたところから発せられた光の一部も瞳１８４０によって蹴られることなく眼１８０１に入射し、網膜上の中心窩から夫々、距離１８３９及び距離１８３８離れたところに結像する様子が描かれている。

図１７の表示デバイス１７１３の平面サイズ１７３０と図１８の表示デバイス１８１３の平面サイズ１８３０とは同じである。しかし、図１７のＨＭＤサイズ１７２３は図１８のＨＭＤサイズ１８２３よりも小さくコンパクトである。さらにレンズ１７１５の径はレンズ１８１５の径よりも小さい。この様に曲面表示デバイスを使用した図１７の方がＨＭＤを小さくする上で有利である。

また、角度１７３３は角度１８３３よりも広いため表示デバイス１７１３と表示デバイス１８１３とが同じ明るさの表示デバイスであっても図１７のＨＭＤの方が明るい映像を観察者が観察可能である。さらに角度１７３４は角度１８３４よりも広いため図１７のＨＭＤの方が視野を広く設けることが出来る。この様に曲面表示デバイスを使用した図１７の方がＨＭＤを明るく、広視野とする上でも有利である。

図１７、図１８はレンズが１枚で構成される単純な光学系の例であるが色収差等の光学収差を減らす目的で複数枚のレンズを組み合わせたレンズ系を使用しても同様の効果が得られる。
また、図１９、図２０に示す様にＨＭＤを使用した観察者が近傍の物体を観察する際にも曲面の表示デバイスを使用した方が有利である。図１９に示す様に観察者が距離１９４１の場所に有る物体を観察する場合を考える。この場合、左眼１９０１用の曲面表示デバイス、レンズ１９１５、右眼１９０２用の曲面表示デバイスおよびレンズ１９１６からなるＨＭＤで観察すれば表示デバイス１９１３と表示デバイス１９１４がぶつからない。よって、当該物体を観察することが可能である。しかし、図２０に示す様に左眼２００１用の平面表示デバイス２０１３、レンズ２０１５、右眼２００２用の平面表示デバイス２０１４、及びレンズ２０１６からなるＨＭＤで観察しようとすれば、表示デバイス２０１５と表示デバイス２０１６とがぶつかってしまう。よって、距離１９４１よりも遠い距離２０４１にある物体しか観察することが出来ない。

図９において表示デバイスとレンズとの６軸に関する調整は第１実施形態と同様に行われうる。また、第１実施形態と同様に不図示の視線を検知する視線検知部が備えられてよく、それによって検知される観察者の視線方向に合わせて表示モジュールの位置を調節する機構も備えられうる。さらに、観察者の視線とレンズの光軸とが一致する様に表示モジュールの位置を調整する機構も第１実施形態と同様に備えられうる。したがって、第１実施形態と同様に視線と表示デバイスの表示面が成す角θ（視線が表示面との交点における両者の間の角度）は略直角となる。θの範囲は±６０分角以内、より好ましくは±６分角以内である。

以上により、第２実施形態においても第１実施形態と同様に従来の課題に対して、課題を解決、または軽減する効果が有る。即ち一つ目の効果は、従来のＨＭＤに有った観察者の視線と表示デバイスが直交しないために光学収差影響を受けて生じていた疲れ眼を解消する効果である。さらに二つ目の効果は従来のＨＭＤに有った観察者の見たい映像が視野の中心に保たれないことに起因した疲れ眼を解消する効果である。

図１３は第１実施形態で説明した図５に対応する。図１３と図５との違いはカメラモジュール１３０１、及びカメラモジュール１３０２には白線で示した曲面状のイメージセンサーが内蔵されている点である。図２１は曲面状のイメージセンサーを内蔵するカメラモジュール２１０１で２５０ｍｍ先の合焦面２１０９上の物体を撮影している様子を表している。カメラモジュール２１０１に内蔵されるイメージセンサーの撮像面は曲面であり、この曲面は半球面、あるいは球面の一部となっている。レンズ２１１５は合焦面２１０９から発せられた光を曲面イメージセンサーの撮像面上に結像させる様に形状と位置が設計されている。合焦面２１０９の中心から出て角度２１３３に入る光はレンズ２１１５の絞りによって蹴られることなくカメラモジュール２１０１に入射する。これにより、曲面イメージセンサーの撮像面の中心に結像する。同様に合焦面２１０９の中心から距離２１３７及び距離２１３６を隔てた位置から発せられた光の一部もレンズ２１１５の絞りによって蹴られることなくカメラモジュール２１０１に入射する。これにより、曲面イメージセンサーの撮像面の中心から夫々距離２１３９及び距離２１３８離れたところに結像する。

そして、図２１の曲面イメージセンサーで受けた画像情報は図１７の表示デバイス１７１３に不図示の転送装置によって転送され上下、左右を反転して表示される。表示位置の関係は次の様になる。図２１のイメージセンサーの中心点の画素情報は図１７の表示デバイスの中心画素で表示される。図２１のイメージセンサーの中心点から距離２１３９の位置に配置された画素の情報は図１７の表示デバイスの中心画素から距離１７３７の位置に配置された画素で表示される。同様に距離２１３８の位置に配置された画素の情報は距離１７３６の位置に配置された画素で表示される。

その結果、図１７でＨＭＤを使用している観察者の眼１７０１の網膜上に結像される像は観察者が現場で観察を行っている場合と同様の像となる。即ち図２１を、観察者が現場で２５０ｍｍ先の観察を行っている様子を示した図であると見做した時に、眼２１０１の網膜に結像している像と、図１７のＨＭＤを使用している観察者の眼１７０１の網膜に結像している像とが同じとなる。これにより、図１７のＨＭＤを使用している観察者には、あたかも図２１の様に現場で２５０ｍｍ先を観察しているかの様に感じられる。

２５０ｍｍ先の物体を撮影し、その映像をＨＭＤで観察する場合を説明したが、２５０ｍｍ以外の距離でも同様である。例えば図２１で無限遠に合焦面２１０９が有る場合も、レンズ２１１５をイメージセンサーへ若干近づける方向にシフトさせれば、合焦面２１０９の各点から発光された光を曲面イメージセンサー上に結像させることが可能である。その状態で、曲面イメージセンサーで受けた画像情報を図１７の曲面表示デバイス１７１３に反転して表示させ、ＨＭＤで観察を行う際にレンズ１７１５を眼１７０１に近づく方向にシフトさせれば、観察者は現場で無限遠を観察しているかの様に感じられる。

図１３は左眼用カメラモジュール１３０１を用いて図９の表示デバイス０９１３に映し出す映像を撮像し、右眼用カメラモジュール１３０２を用いて図９の表示デバイス０９１４に映し出す映像を撮像する様子を示した図である。図９の左眼０９０１の視線検知情報を受けて、カメラモジュール１３０１の光軸が左眼０９０１の視線と同じ方向を向く様に左眼用カメラモジュール１３０１の姿勢を制御する不図示の機構が備えられうる。同様に右眼用カメラモジュール１３０２の光軸が右眼０９０２の視線と一致する様に右眼用カメラモジュール１３０２の姿勢を制御する不図示の機構が設けられうる。

破線１３０９、及び破線１３１０は夫々、カメラモジュール１３０１、及びカメラモジュール１３０２の物体側の焦点面を示している。したがって、破線１３０９上の物体はカメラモジュール１３０１のレンズを通して、白線で示したイメージセンサーの撮像面上に結像される。同様に破線１３１０上の物体はカメラモジュール１３０２のレンズを通して、白線で示したイメージセンサーの撮像面上に結像される。

図１３において、カメラモジュール１３０１の光軸とカメラモジュール１３０２の光軸との交点にある黒丸１３０３には人物が居る。また、左手遠方の黒バツ１３０６には木が有る。カメラモジュール１３０２と黒バツ１３０６とを結ぶ一点鎖線と破線１３１０とは交点を有する。したがって、カメラモジュール１３０２の撮影画像には木が写る。それをグレーのバツ１３０８で示している。実際にグレーのバツ１３０８の位置に木が有れば、カメラモジュール１３０２の撮像画像内の木の映像はピントが有った映像となるが、実際には木は黒バツ１３０６の位置に有るため、黒バツ１３０６とグレーバツ１３０８との距離に比例してボケた映像となる。一方、カメラモジュール１３０１と黒バツ１３０６とを結ぶ一点鎖線は、破線１３０９との交点を持たず、破線１３０９の延長線である一点鎖線との交点を持つ。それをグレー点線のバツ１３０７で示してある。したがってカメラモジュール１３０１の撮影画像には木が写らない。

図１４は図１３のカメラモジュールで撮影した撮影画像を示した図である。フレーム１４０９は図１３の破線１３０９に相当し、フレーム１４１０は図１３の破線１３１０に相当する。図１３でカメラモジュール１３０１の光軸上の黒丸１３０３に人物が居るため、図１４のフレーム１４０９の中心に人物像１４０３が写っている。同様にカメラモジュール１３０２の光軸上にも黒丸１３０３が有り、そこに人物が居るため、図１４のフレーム１４１０の中心に人物像１４０３が写っている。両方の人物像１４０３にはカメラモジュール１３０１とカメラモジュール１３０２の視差が有るため、両方ともフレームの中心に有るが同じ像ではない。フレーム１４１０の左上端には木の像１４０８が写っているが、先に述べた理由でボケた画像となっている。そのことをグレーの中太線で明示している。一方、フレーム１４０９には先に述べた理由で木の像は映っていない。

図１０は図１４の撮影画像を図９の表示デバイスに表示した状態を示した図である。図１４のフレーム１４０９の撮影画像は図９の表示デバイス０９１３に表示される。その表示された映像を示したものが図１０のフレーム１０１３である。同様に図１４のフレーム１４１０の撮影画像は図９の表示デバイス０９１４に表示される。その表示された映像を示したものが図１０のフレーム１０１４である。観察者は左眼０９０１でフレーム１０１３の映像を見て、右眼０９０２でフレーム１０１４の映像を見るため頭の中では両者が合成される。その様子を示したものがフレーム１０２１である。中心の人物像１００３は一つであるが、視差を含むフレーム１０１３の人物像１００３と、フレーム１０１４の人物像１００３とが重なったものであり、立体的に感じられる。また、木の像１００８は右眼０９０２だけに感じられることや、木の像のボケ具合から人物像１００３との空間的距離感が頭の中で推し測られる。

図９において表示デバイス０９１３、表示デバイス０９１４、レンズ０９１５、及びレンズ０９１６が無いものとし、黒丸０９０３に居る人物を観察者が見る場合を考える。この場合、左眼０９０１の水晶体、及び右眼０９０２の水晶体は黒丸０９０３に居る人物にピントを合わせるために夫々、所定の厚みに調整される。その所定の厚みを保ったまま実際に有る表示デバイス０９１３上の人物像０９１７を左眼０９０１の網膜上に結像させることは、表示デバイス０９１３とレンズ０９１５との距離０９２６を調整することで可能である。同じく所定の厚みを保ったまま実際に有る表示デバイス０９１４上の人物像０９１８を右眼０９０２の網膜上に結像させることは、表示デバイス０９１４とレンズ０９１６との距離０９２７を調整することで可能である。その様な調整を行ったとき、観察者に感じられる左眼０９０１の合焦面は破線０９０９であり、右眼０９０２の合焦面は破線０９１０となり、図１３のカメラモジュール１３０１の合焦面１３０９と、カメラモジュール１３０２の合焦面１３１０が再現される。

次に、図１１に示す様に観察者の意識が人物から遠方の木１１０６に移った場合、左眼１１０１の視線は左眼１１０１と黒バツ１１０６とを結ぶ一点鎖線に移る。同様に右眼１１０２の視線は右眼１１０２と黒バツ１１０６とを結ぶ一点鎖線に移る。この視線の変化を前述の不図示の視線検知部で検知し、カメラモジュール１３０１、及びカメラモジュール１３０２の姿勢を制御する不図示の機構に伝えられうる。その結果、カメラモジュール１３０１の光軸が図１１の左眼１１０１の視線に一致し、かつカメラモジュール１３０２の光軸が図１１の右眼１１０２の視線に一致した状態を示した図が図１５である。

図１５において、カメラモジュール１５０１の光軸とカメラモジュール１５０２の光軸との交点にある黒バツ１５０６には木が有る。また、右側手前の黒丸１５０３には人物が居る。カメラモジュール１５０２と黒丸１５０３とを結ぶ破線と破線１５１２とは交点を有する。したがってカメラモジュール１５０２の撮影画像には人物が写る。それをグレーの丸１５０５で示している。実際にグレーの丸１５０５の位置に人物が居れば、カメラモジュール１５０２の撮像画像内の人物像はピントが有った映像となるが、実際には人物は黒丸１５０３の位置に居るため、黒丸１５０３とグレー丸１５０５との距離に比例してボケた映像となる。一方、カメラモジュール１５０１と黒丸１５０３とを結ぶ破線は、破線１５１１との交点を持たないが、破線１５１１の延長線である一点鎖線との交点を持つ。それを白抜きグレー丸１５０４で示してある。したがってカメラモジュール１５０１の撮影画像には人物が写らない。

図１６は図１５のカメラモジュールで撮影した撮影画像を示した図である。フレーム１６１１は図１５の破線１５１１に相当し、フレーム１６１２は図１５の破線１５１２に相当する。図１５でカメラモジュール１５０１の光軸上の黒バツ１５０６に木が有るため、図１６のフレーム１６１１の中心に木の像１６０６が写っている。同様にカメラモジュール１５０２の光軸上にも黒バツ１５０６が有り、そこに木が有るため、図１６のフレーム１６１２の中心に木の像１６０６が写っている。両方の木像１６０６にはカメラモジュール１５０１とカメラモジュール１５０２の視差が有るため、両方ともフレームの中心に有るが同じ像ではない。フレーム１６１２の右下端には人物像１６０５が写っているが、先に述べた理由でボケた画像となっている。そのことをグレーの大太線で明示している。一方、フレーム１６１１には先に述べた理由で人物像は映っていない。

図１２は図１６の撮影画像を図１１の表示デバイスに表示した状態を示した図である。図１６のフレーム１６１１の撮影画像は図１１の表示デバイス１１１３に表示される。その表示された映像を示したものが図１２のフレーム１２１３である。同様に図１６のフレーム１６１２の撮影画像は図１１の表示デバイス１１１４に表示される。その表示された映像を示したものが図１２のフレーム１２１４である。観察者は左眼１１０１でフレーム１２１３の映像を見て、右眼１１０２でフレーム１２１４の映像を見るため頭の中では両者が合成される。その様子を示したものがフレーム１２２１である。中心の木像１２０６は一つであるが、視差を含むフレーム１２１３の木像１２０６と、フレーム１２１４の木像１２０６とが重なったものであり、立体的に感じられる。また、人物像１２０５は右眼１１０２だけに感じられることや、人物像のボケ具合から木像１２０６との空間的距離感が頭の中で推し測られる。

図１１において表示デバイス１１１３、表示デバイス１１１４、レンズ１１１５、及びレンズ１１１６が無いものとし、黒バツ１１０６に有る木を観察者が見る場合を考える。この場合、左眼１１０１の水晶体、及び右眼１１０２の水晶体は黒バツ１１０６に有る木にピントを合わせるために夫々、所定の厚みに調整される。その所定の厚みを保ったまま実際に有る表示デバイス１１１３上の木像１１１９を左眼１１０１の網膜上に結像させることは、表示デバイス１１１３とレンズ１１１５との距離１１２６を調整することで可能である。同じく所定の厚みを保ったまま実際に有る表示デバイス１１１４上の木像１１２０を右眼１１０２の網膜上に結像させることは、表示デバイス１１１４とレンズ１１１６との距離１１２７を調整することで可能である。その様な調整を行ったとき、観察者に感じられる左眼１１０１の合焦面は破線１１１１であり、右眼１１０２の合焦面は破線１１１２となり、図１３のカメラモジュール１３０１の合焦面１３１１と、カメラモジュール１３０２の合焦面１３１２が再現される。

ＨＭＤとカメラモジュールとを備えるクロスリアリティシステムでは、カメラモジュールの光軸がＨＭＤを利用する観察者の視線と略同じ方向を向く様にリアルタイムに制御がなされる。また、このシステムではカメラモジュールによって撮像された画像がＨＭＤの表示デバイスにリアルタイムに表示される。これにより、従来のＨＭＤで生じた疲れ眼の問題が軽減される。

尚、ここではＨＭＤの他にカメラモジュールを用いてリアルタイムで視線情報と撮像データの交換をＨＭＤとカメラモジュールとの間で行う例を挙げたが、カメラモジュールが無くてもよい。その場合は図９の合焦面０９０９、０９１０（あるいは図１１の合焦面１１１１、１１１２に相当する合焦面、より好ましくは図４６の合焦面４６９、４６１０、図４８の合焦面４８１１、４８１２に相当する合焦面。）がＨＭＤを利用する観察者の前に、観察者の視線の向きに合わせて再現される様に、ＨＭＤの表示デバイスに映し出す映像をリアルタイムにＣＧ処理すればよい。これによりカメラモジュールを用いる場合と同様に従来のＨＭＤで生じた疲れ眼の問題を軽減できる。

また、カメラモジュールを用いる場合もリアルタイム性を保持可能な程度にカメラモジュールが観察者から遠方に合ってもよいし、同じＨＭＤの中に組み込まれていてもよい。カメラモジュールが人間の眼では見えない波長の光を捉えるものであってもよい。あるいは、カメラモジュールの撮像に文字や映像を重ねる処理を行ってＨＭＤの表示デバイスに映してもよい。

以下、第２実施形態によって従来のＨＭＤで生じた疲れ眼の問題が軽減される理由を説明する。従来のＨＭＤに有った疲れ眼の要因の一つ目は図４２や図４４の状態で合焦面４２０９、合焦面４２１０、合焦面４４１１、及び、合焦面４４１２が観察者の視線と直交していなことであった。そのために視線の左側と視線の右側でピントの合い易さに不均衡が生じ、現場で実際に観察している場合である図４６や図４８の場合と異なる違和感を観察者が受けるのである。図９、図１１に示した本実施形態の場合、図４６や図４８の場合と同様に合焦面０９０９、合焦面０９１０、合焦面１１１１、及び合焦面１１１２が視線と直交しているため、その様な違和感は解消される。これは図９、図１１以外の方向に視線が向く場合も同様である。

従来のＨＭＤに有った疲れ眼の要因の三つ目は視線の先が視野の中心に無いことであった。図４２や図４４で、視線の先の見たい被写体が視野の中心でないことが、現場で実際に観察している場合である図４６や図４８の様に見たい被写体が視野の中心に有る場合との違いとなり、そこから観察者が違和感を受けて疲れ眼の要因となっていた。第２実施形態の図９や図１１の場合、視線の先は視野の中心となっているため、その様な違和感は解消される。これは図９、図１１以外の方向に視線が向く場合も同様である。

従来のＨＭＤに有った疲れ眼の要因の四つ目は、視線の先の注目している物体よりも奥、あるいは手前に有り、かつ左眼と右眼とで見える位置に視差を生じている物体に関して、現場で実際に観察している場合と視差の度合が異なることであった。例えば図４３において遠くの木４３０７と４３０８との視差４３２５は小さいたいめフレーム４３２１には両方が映ってしまっている。しかし、現場で実際に観察している場合の図４７において遠くの木４７０７と４７０８との視差４７２５は大きいためフレーム４７２１には片方しか映らない。第２実施形態の図１０においては遠くの木１００７と１００８との視差１０２５が大きいためフレーム１０２１には図４７と同様に片方しか映らない。

同様のことが図４５に関してもいえる。近くの人物４５０４と４５０５との視差４５２５は小さいためフレーム４５２１には両方が映ってしまっている。一方、現場で実際に観察している場合の図４９において近くの人物４９０４と４９０５との視差４９２５は大きいためフレーム４９２１には片方しか映らない。第２実施形態の図１２においては近くの人物１２０５と１２０４との視差１２２５が大きいためフレーム１２２１には図４９と同様に片方しか映らない。

したがって第２実施形態の場合に観察者が感じる人物と木との距離感は、現場で実際に観察している場合に近いものとなる。これによって、従来のＨＭＤで生じていた違和感が軽減され疲れ眼も軽減される。

さらに第２実施形態では従来のＨＭＤにあった疲れ眼の要因の二つ目も解消される。要因の二つ目は現場で実際に観察している場合の合焦面と、ＨＭＤを体験している際に観察者が感じる合焦面の形状差に依るものであった。しかし、第２実施形態ではＨＭＤを使用して観察している場合を示す図９の状況と、現場で実際に観測者が見ている場合を示す図４６の状況とが一致している。

つまり、図９において木が有る黒バツ０９０６と合焦面０９１０上の木の像０９０８との距離と、図４６において木が有る黒バツ４６０６と合焦面４６１０上の木の像４６０８との距離とが同じである。このため、右眼用カメラ１３０２の被写界深度と観察者の眼４６０２の被写界深度が略同じであれば木の像０９０８と、木の像４６０８のボケ度合が同じとなる。図１０の木の像１００８と、図４７の木の像４７０８の線の太さが同じであることがそのことを明示している。

同様の事が図１１の場合と、図４８との比較においても言える。つまり図１１において人物が居る黒丸１１０３と合焦面１１１２上の人物像１１０５との距離と、図４８において人物が居る黒丸４８０３と合焦面４８１２上の人物像４８０５との距離とが同じである。このため右眼用カメラ１５０２の被写界深度と観察者の眼４８０２の被写界深度が略同じであるとすれば人物像１１０５と、人物像４８０５のボケ度合が同じとなる。図１２の人物像１２０５と、図４９の人物像４９０５の線の太さが同じであることがそのことを明示している。

以上の様に従来のＨＭＤにあった疲れ眼の要因の二つ目も解消される点において第２実施形態は第１実施形態よりも好ましい。

以下、第２実施形態を具体化した実施例を実施例１として説明する。実施例１の曲面表示デバイスと曲面イメージセンサーの製造方法を図２２に示す。平面表示デバイスまたは平面イメージセンサーである平面デバイス２２４４の表面には画素２２４５が一定のピッチで配置されうる。一例において、画素の平面形状は六角形とし、蜂の巣の様に平面充填構造とすることができる。一例において、画素サイズは３ｕｍである。平面表示デバイスとしては、例えば、液晶ディスプレイまたは有機ＥＬディスプレイ等が使用可能である。平面イメージセンサーとしては、例えば、ＣＭＯＳイメージセンサー、ＣＣＤセンサーまたはＳＰＡＤセンサー等が使用可能である。

ファイバーオプティカルプレート（以下、ＦＯＰ）、より具体的には、一方の面が平面で、他方の面が球面であるＦＯＰ２２４２を準備した。ＦＯＰを構成するファイバー２２４３は、例えば直径が３ｕｍでありうる。図２２、右図の様にＦＯＰ２２４２と平面デバイス２２４４とを接着剤２２４６により貼り合わせることによって、曲面表示デバイスまたは曲面イメージセンサーである曲面デバイスとを完成させることができる。貼り合わせには、例えば公知の高精度ダイボンダーを使用することができ、これにより画素２２４５の中心とファイバー２２４３の中心を一致させることができる。一例において、貼り合わせ精度は±０．３ｕｍでありうる。

図２３は本例のＨＭＤにおいて、観察者の視線を検知する視線検知部と、それによって検知された視線に応じて表示モジュールの光軸を駆動する駆動機構とを説明する図である。本例のＨＭＤは、球面の一部で構成される支持面を有する支持体２３４７を備え、その球面の中心は観察者の眼２３０１の回転中心（視線の動きの回転中心）と略一致するように位置決めされうる。ここで略一致とは、眼２３０１の回転中心に対して±１ｍｍ以内、より好ましくは０．１ｍｍ以内である。

曲面表示デバイス２３１３は、その表示面と反対の面である裏面が支持体２３４７の球面の曲率より少し小さい曲率の球面形状を有しうる。表示デバイス２３１３の裏面には永久磁石のハルバッハアレイ２３４９が固定されうる。一方、支持体２３４７の支持面には電磁石配列２３５０が設けられうる。電磁石配列２３５０をハルバッハアレイ２３４９と常に引き合う様に制御することによって表示デバイス２３１３を常に支持体２３４７に引き付けることができる。一方、表示デバイス２３１３を引き付ける力に抗する様にベアリング２３４８が設けられうる。ベアリング２３４８は表示デバイス２３１３が支持体２３４７の支持面に沿って移動することを可能にする。表示デバイス２３１３を移動させるために電磁石配列２３５０が発生する磁界が制御される。これにより表示デバイス２３１３は支持体２３４７の球面に沿って上下および左右に駆動される。

ハルバッハアレイ２３４９と電磁石配列２３５０とは入れ替えられてもよい。即ちハルバッハアレイ２３４９が表示デバイス２３１３に設けられ、電磁石配列２３５０が支持体２３４７に設けられてもよい。

表示デバイス２３１３の光軸とレンズ（光学系）２３１５の光軸とが一致した状態で、レンズ２３１５は不図示の駆動系によってレンズ２３１５の光軸に沿って駆動されうる。表示デバイス２３１３の光軸とレンズ２３１５の光軸とを一致させるための５軸調整精度としては、例えば、並進を±４ｕｍとし、角度を±４分角とすることができる。

表示デバイス２３１３とレンズ２３１５との間に、光軸に対し４５°で交差する赤外ミラー（ハーフミラー）２３５３を設けられうる。赤外ミラー２３５３は、可視光を透過し、赤外光を反射する様に透光性部材の表面に光学フィルターを設けることによって構成されうる。また、眼２３０１の瞳に対し赤外光を照射する赤外ＬＥＤ（照射部）２３５１を設けられうる。赤外ＬＥＤ２３５１によって瞳に照射された赤外光のうち瞳によってレンズ２３１５の方向に反射された光はレンズ２３１５で若干集光され、赤外ミラー２３５３によって反射されうる。赤外ミラー２３５３によって反射された赤外光は赤外レンズ２３５４を通り、赤外イメージセンサー２３５５の撮像面上に眼２３０１の瞳像を結像しうる。赤外イメージセンサー２３５５は観察者の視線を検知する視線検知部を構成しうる。ここで、赤外レンズ２３５４は不図示の駆動系によって赤外イメージセンサー２３５５の光軸に沿って駆動されうる。該駆動系は、レンズ２３１５が動いた際にも、赤外イメージセンサー２３５５上に常に瞳像が結像する様に制御されうる。

ハルバッハアレイ２３４９、ベアリング２３４８、表示デバイス２３１３、レンズ２３１５、赤外ＬＥＤ２３５１、赤外ミラー２３５３、赤外レンズ２３５４、赤外イメージセンサー２３５５等は一体化された表示モジュールＤＭを構成しうる。モジュールＭは眼２３０１の回転中心と略同一の中心点の周りで回転する様に駆動機構Ｄによって駆動されうる。眼２３０１の回転し、即ち視線の変化は赤外イメージセンサー２３３の撮像面に瞳像の移動として現れる。そこで、制御部ＣＮＴは赤外イメージセンサー２３３の出力に基づいて赤外イメージセンサー２３３の撮像面における瞳像の動きの速度と方向を検知することで観察者の視線の動きを検知することができる。また、制御部ＣＮＴは観察者の視線の動きに応じて、それにモジュールＭが追従する様に駆動機構Ｄを制御しうる。これにより観察者の視線と表示デバイス２３１３の表示面との交点において、視線と表示デバイス２３１３の表示面とが成す角θを略垂直に保つことができる。換言すると、制御部ＣＮＴは、赤外イメージセンサー２３５５（視線検知部）の出力に基づいて、観察者の視線と表示デバイス２３１３の表示面とのなす角度が９０度に対して予め設定された許容範囲に収まるように駆動機構Ｄを制御しうる。許容範囲は、要求仕様に応じて任意に決定されうる。許容範囲は、例えば、９０度に対して±６０分角以内であってよく、９０度に対して±６分角以内であることが好ましい。

図２４は観察者の視線の方向を数値化し、カメラモジュールの姿勢を制御するための情報を得る仕組みを説明する図である。支持体２４４７の球面には二次元エンコーダーで目盛りとして使用可能なコントラストを有する２次元紋様２４５６が設けられうる。エンコーダーセンサー２４５７は内部に不図示の赤外ＬＥＤと赤外センサー配列を有しうる。２次元紋様２４５６に向かってエンコーダーセンサー２４５７の赤外ＬＥＤから赤外線２４５８が照射され、２次元紋様２４５６からの赤外反射光をエンコーダーセンサー２４５７の赤外センサー配列によって検知することができる。

エンコーダーセンサー２４５７、表示デバイス２４１３、レンズ２４１５、赤外ミラー２４５３、赤外レンズ２４５４、赤外イメージセンサー２４５５を含むモジュールＭは図２４の様に眼２４０１の回転中心と略同一の中心点の周りで回転しうる。眼２４０１の回転中心は視線の動きの回転中心であるとも言える。制御部ＣＮＴはエンコーダーセンサー２４５７によって２次元紋様２４５６からの赤外反射光の変化をカウントすることで視線の角度を検知することができる。検視された視線の方向をカメラモジュールの姿勢制御にフィードバックさせることでリアルタイムクロスリアリティシステムが構築されうる。次にそのリアルタイムクロスリアリティシステムの動作について説明する。

図２５は観察者が本例のＨＭＤを使用して無限遠の景色を観察している状態を示している。左眼２５０１の視線と右眼２５０２の視線は平行であり、表示デバイス２５１３とレンズ２５１５からなる表示モジュールの光軸と左眼２５０１の視線が一致している。同様に表示デバイス２５１４とレンズ２５１６からなる表示モジュールの光軸と視線も一致している。

図２６は観察者の意識が右７°かつ前方２５０ｍｍの位置にある物体に向いた状態を示している。この時、左眼２６０１、及び右眼２６０２の視線は夫々、図２５の平行状態から８．６°内側方向に向きになり寄り眼となった状態である。観察者の視線の変化は前述の視線検知部を使って検知され、前述の駆動機構Ｄによって、表示デバイス２６１３とレンズ２６１５を含むモジュールの光軸と左眼２６０１の視線が一致する。さらに同様に表示デバイス２６１４とレンズ２６１６を含む表示モジュールの光軸と右眼２６０２の視線も一致する。この時、観察者の頭の回転角７°は不図示のジャイロセンサーによって計測されうる。また、左眼２６０１の視線角度、及び右眼２６０２の視線角度は前述のエンコーダーセンサーを使用した機構にて測定されうる。

図２７は図２５で観察者が見ている表示デバイス２５１３と表示デバイス２５１４に表示する映像を撮影するカメラモジュールシステムを示している。左眼用カメラモジュール２７０１の撮影映像は図２５の表示デバイス２５１３に表示され、右眼用カメラモジュール２７０２の撮影映像は図２５の表示デバイス２５１４に表示される。この時、左眼用カメラモジュール２７０１の光軸方向は図２５の左眼２５０１の視線の方向と一致し、右眼用カメラモジュール２７０２の光軸方向は図２５の右眼２５０２の視線の方向と一致している。また図２５の観察者の頭の向きと図２７のカメラモジュールシステム全体の向きとは図の水平左方向に一致している。

観察者の状態が図２５から図２６に移った際に、リアルタイムで前述の観察者の頭の回転角と、左右の眼の視線の角度変化が図２７の状態のカメラモジュールシステムに不図示の伝達装置によって伝達されカメラモジュールの方向制御が行われうる。そのためカメラモジュールシステムの状態は図２７の状態から図２８の状態になる。即ちカメラモジュールシステム全体が右に７°回転し、右眼用カメラモジュール２７０１の光軸方向と左眼用カメラモジュール２７０２の光軸方向とが夫々８．６°内側に向く。これにより、再び観察者の左眼２６０１の視線方向と左眼用カメラモジュール２８０１の光軸方向が一致し、右眼２６０２の視線方向と右眼用カメラモジュール２８０２の光軸方向が一致する。

次に本例のリアルタイムクロスリアリティシステムのレンズ系の制御について説明する。図２９は図２７の無限遠に合焦面がある状態のカメラモジュールの拡大図である。無限遠から来る平行光がレンズ２９１５を通して曲面イメージセンサー上に焦点を結ぶ様子が光線計算の結果として描かれている。図３０は図２８の近傍２５０ｍｍに合焦面がある状態のカメラモジュール拡大図である。２５０ｍｍ遠方の不図示の円弧状合焦面から発光された拡散光がレンズ３０１５を通して曲面イメージセンサー上に焦点を結ぶ様子が光線計算の結果として描かれている。図２９の状態から図３０の状態へは、公知のオートフォーカス機構によってレンズ２９１５の位置から、レンズ３０１５の位置へレンズ２９１５をシフトさせることで行なわれる。あるいはＨＭＤで検知された左眼の視線と右眼の視線とが成す角ηから、観察物体と観察者との距離Ｌを算出し、レンズ２９１５のシフト量を決定してもよい。

図３１は図２５の観察者が無限遠を観察している状態の表示モジュールの拡大図である。図２９のカメラモジュール２９０１で撮影された映像が表示デバイス３１１３にリアルタイムで表示されている。表示デバイス３１１３の表面から発光した拡散光がレンズ３１１５、水晶体３１５９を通して眼３１０１の網膜に結像している様子が光線計算の結果として描かれている。この時、水晶体３５１９の厚みは観察者が実際に無限遠を観察している時と同じ厚みになる様にレンズ３１１５の位置が制御される。また、レンズ３１１５の位置に合わせて赤外レンズ３１５４の位置が調節され赤外イメージセンサー３１５５に眼３１０１の瞳像が結像している。つまり、不図示の制御部は、観察者の眼の輻輳角に基づいて、表示デバイス３２１３の表示面を見ている眼の水晶体の厚みが、該輻輳角に対応する輻輳距離に存在する物体を観察者が見るときの眼の水晶体の厚みと一致するように、レンズ３１１５を調整しうる。

図３２は図２６の観察者が近傍２５０ｍｍに有る物体を観察している状態にある時の表示モジュールの拡大図である。カメラモジュールが図２９の状態から図３０の状態に移った際のレンズ２９１５のシフト量が図３１のＨＭＤのシステムに伝達されレンズ３１１５の位置制御にリアルタイムでフィードバックされる。あるいは、ＨＭＤで検知された観察者の左眼の視線と、右眼の視線とが成す角ηから、観察物体と観察者との距離Ｌを算出し、レンズ３１１５の位置制御にフィードバックしても良い。フィードバックにしたがって図３１の状態から図３２の状態に変わる際にレンズ３１１５の位置からレンズ３２１５の位置へレンズ３１１５の位置がシフトされる。

その結果、表示デバイス３２１３の表面から発光した拡散光がレンズ３２１５を通して、眼３２０１に入射した際に、観察者の眼３１０１において水晶体３１５９の厚みを厚くする制御が行われる。これは、この様にしなければ拡散光が網膜に結像しないためである。図３２の水晶体３２５９の厚みは、観察者が実際に２５０ｍｍ近傍を見る際に必要な厚みである。逆に、先のレンズ３１１５の位置からレンズ３２１５の位置へのシフト量は、水晶体３２５９の厚みが図３２の厚みになる様に計算され決定される。また、赤外イメージセンサー３２５５上の瞳画像のピントがずれない様にレンズ３１１５のシフトに合わせて、赤外レンズ３１５４の位置も赤外レンズ３２５４の位置にシフトされる。
以上の様な制御が成されることによって観察者は現場で実際に観察している場合と同様に疲れ眼を感じ難い状態で、表示を観察することが可能である。

図２７のカメラモジュールから図２８の表示デバイスへ、あるいは図２８のカメラモジュールから図２６の表示デバイスへの画像転送はカメラモジュールと観察者との距離が近い場合は問題ない。しかし、遠隔地の場合いは転送に時間を要するためリアルタイム性が低下する場合がある。そのため本例では図３３に示す様に画素情報の間引き転送とＡＩによるレンダリングによって再生処理を行ってもよい。即ち図３３のａはカメラモジュールで撮影した映像を示し、ｂはカメラモジュール近傍のイメージシグナルプロセッサによって周囲画素の情報を間引いた映像を示す。この状態でカメラモジュールから表示デバイスへ転送を行えば情報量が少ないため転送時間を削減可能である。つまり、カメラモジュールの前メージセンサーを使って得られた画像の周辺部を該画像の中心部よりも粗くした画像をカメラモジュールの側から表示デバイスの側に転送されることにより転送時間を削減可能である。また、より重要な目の中心窩で観察する部分はそのままであるため間引きの影響を抑えることが可能である。ｃは表示デバイス近傍のＡＩプロセッサで受けた画像情報を示し、ｄはＡＩプロセッサがＡＩ処理で間引かれた画素情報を補間して表示デバイスに表示させた画像を示す。この様な処理を行うシステムを構築することが遠隔地の映像を体験するためのクロスリアリティシステムを実現する上でより好ましい。

以下、実施例２について説明する。実施例２が実施例１と異なる点を図３４、図３５を用いて説明する。図３４は実施例１のＨＭＤを示す図である。左眼３４０１、右眼３４０２の視線の先に夫々のハルバッハアレイ３４４９が有り、これは夫々の支持体３４４７から突出することが出来ない構成になっている。したがって、実施例１では左眼３４０１、及び右眼３４０２の回転角が±１８°に限定されている。

一方、図３５は実施例２のＨＭＤを示す図である。左眼３５０１、右眼３５０２の視線の先に夫々のハルバッハアレイ３５４９は無く、オフセットが設けられている。したがって、図３５の左眼用表示デバイス３５１３の様に左眼用支持体３５４７の右端から外に突出することが可能である。他の観点で説明すれば、表示デバイス３５１３の可動域は、表示デバイスを支持する支持面（ハルバッハアレイ３５４９）の領域の外側の領域を含む。このため実施例２では左眼３５０１、及び右眼３５０２の回転角が±３０°の範囲まで許される。オフセット量を調節することに依ってさらに回転角の許される範囲を広げることも可能であり、実施例２の構成をとることにＨＭＤの視野を広げる効果がある。

以下、実施例３について説明する。実施例３は、ハルバッハアレイを使用した表示デバイスの駆動系で使用する支持体が、球面の一部で構成された支持面を有する支持体３４４７と異なり、平面で構成された支持面を有する支持体３６４７である点が実施例１と異なる。図３６を参照して実施例３の構成を説明する。観察者の視線と表示デバイスの表示面とが成す角θを垂直に保つために角度制御機構３６６０が設けられうる。角度制御機構３６６０は支持体３６４７のハルバッハアレイ３６４９における位置に応じて眼３６０１の視線と表示デバイス３６１３の表示面との交点において視線と表示デバイス３６１３の表示面との成す角θが垂直となる様に表示デバイス３６１３を制御する。この時、実施例１と異なり、眼３６０１と表示デバイス３６１３の表示面との距離が変化するため、例えばレンズ３６１５を視線方向に動かすことでピント調整が行われる。

以下、実施例４について説明する。実施例４は曲面センサー、及び曲面表示デバイスの製造方法のみが実施例１と異なる。図３７にてその方法を説明する。実施例４の曲面センサー、及び表示デバイスの製造のためのウェハプロセスとしては平面状態のウェハプロセスが採用されうる。ウェハプロセスを経たウェハは、例えば５０ｕｍまで薄膜化され、個々のセンサー、及びデバイスに個片化される。次に、例えば４００ｍｍの曲率半径を有する曲面を備える型３７６１を用意し、図３７のａに示す様に個片化されたイメージセンサーあるいは、表示デバイス３７４４が型３７６１の曲面部分に設置されうる。その状態でイメージセンサーあるいは表示デバイス３７４４と型３７６１とで形成される閉空間を脱気することで図３７のｂに示す様にイメージセンサーあるいは表示デバイス３７４４が曲面形状に湾曲されうる。その状態で不図示の接着剤にてイメージセンサーあるいは表示デバイス３７４４を型３７６１に接着することによって曲面形状が固定されうる。

以下、実施例５について説明する。実施例５は実施例４と以下の点においてのみ異なる。実施例４では曲面の曲率半径は、例えば４００ｍｍであった。実施例４では曲率半径は、例えば１０ｍｍとされる。そのため図３８の様に正方形３つ、台形６つの平面イメージセンサー、もしくは表示デバイスを曲げて接続し、一つの曲面イメージセンサー、もしくは表示デバイス３８４４が形成されうる。この時、個々のイメージセンサー、あるいは表示デバイスは面要素３８６２と、面要素３８６２間を繋ぐスプリングブリッジ３８６３とで構成されうる。

個々のイメージセンサー、あるいは表示デバイスの厚みは１０ｕｍとされうる。その際に公知のＳＯＩ（Ｓｉｌｉｃｏｎ Ｏｎ Ｉｎｓｕｌａｔｏｒ）ウェハを使用し薄化を行うことができる。まず、酸化膜（Ｉｎｓｕｌａｔｏｒ）上のＳｉ層の全厚分をディープエッチングによってパターニングし、面要素３８６２とスプリングブリッジ３８６３を形成しうる。その後、ＸｅＦ２ガスを使用したエッチングにより酸化膜より上の部分をＳｉ基板から分離して薄化を完了しうる。個々の面要素３８６２の大きさは、例えば１００ｕｍ角とし、その中に、例えば３ｕｍ角の画素を敷き詰める構造を採用することができる。以上により実施例４よりも曲率半径の小さいイメージセンサー、及び表示デバイスを得ることができる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２３１３：表示デバイス、２３１５：レンズ（光学系）、Ｄ:駆動機構、Ｃ：制御部、Ａ：調整部、ＤＭ：表示モジュール、２３０１：眼

Claims (15)

1. 表示面を有する表示デバイスと、観察者の眼の焦点を前記表示デバイスに合わせるための光学系と、を備えるヘッドマウントディスプレイであって、
   前記表示デバイスを駆動する駆動機構と、
   前記観察者の視線を検知する視線検知部と、
   前記視線検知部の出力に基づいて、前記視線と前記表示面とが交差する点において、前記視線と前記表示面とのなす角度が９０度に対して予め設定された許容範囲に収まるように前記駆動機構を制御する制御部と、
   を備えることを特徴とするヘッドマウントディスプレイ。
2. 球面の一部で構成される支持面を有する支持体を更に備え、
   前記表示デバイスは、前記支持面によって支持される、
   ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記駆動機構は、前記支持面に沿って前記表示デバイスを駆動するように構成されている、
   ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記駆動機構は、ハルバッハアレイを含む、
   ことを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記表示デバイスの可動域は、前記支持面の領域の外側の領域を含む、
   ことを特徴とする請求項３又は４に記載のヘッドマウントディスプレイ。
6. 前記表示面は、球面の一部で構成される、
   ことを特徴とする請求項２乃至５のいずれか１項に記載のヘッドマウントディスプレイ。
7. 前記支持面は、前記支持面を構成する前記球面の中心が前記視線の動きの回転中心に略一致するように構成される、
   ことを特徴とする請求項２乃至６のいずれか１項に記載のヘッドマウントディスプレイ。
8. 前記制御部は、前記観察者の前記眼の輻輳角に基づいて、前記表示面を見ている前記眼の水晶体の厚みが、前記輻輳角に対応する輻輳距離に存在する物体を前記観察者が見るときの前記眼の水晶体の厚みと一致するように前記光学系を調整する、
   ことを特徴とする請求項１乃至７のいずれか１項に記載のヘッドマウントディスプレイ。
9. 前記制御部は、前記視線検知部からの出力に基づいて検知される前記観察者の左眼の視線と前記観察者の右眼の視線とに基づいて前記輻輳角を決定する、
   ことを特徴とする請求項８に記載のヘッドマウントディスプレイ。
10. 前記視線検知部は、前記観察者の前記眼に赤外光を照射する照射部と、前記表示デバイスと前記眼との間に配置され、前記眼で反射された前記赤外光を反射させ、可視光を透過させるハーフミラーと、前記ハーフミラーで反射された前記赤外光を検知するイメージセンサーと、を含む、
    ことを特徴とする請求項１乃至９のいずれか１項に記載のヘッドマウントディスプレイ。
11. 前記許容範囲は、９０度に対して±６０分角以内である、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載のヘッドマウントディスプレイ。
12. 前記許容範囲は、９０度に対して±６分角以内である、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載のヘッドマウントディスプレイ。
13. 請求項１乃至１２のいずれか１項に記載のヘッドマウントディスプレイと、
    カメラモジュールと、
    前記視線の方向に応じて前記カメラモジュールの光軸が調整されるように前記カメラモジュールの姿勢を制御する姿勢制御部と、
    を更に備えることを特徴とするクロスリアリティシステム。
14. 前記カメラモジュールは、曲面で構成された撮像面を有するイメージセンサーを含む、
    ことを特徴とする請求項１３に記載のクロスリアリティシステム。
15. 前記カメラモジュールの前記イメージセンサーを使って得られた画像の周辺部を該画像の中心部よりも粗くした画像が前記カメラモジュールの側から前記表示デバイスの側に転送される、
    ことを特徴とする請求項１４に記載のクロスリアリティシステム。

Images