JP6248931B2

JP6248931B2 - 画像表示装置および画像表示方法

Info

Publication number: JP6248931B2
Application number: JP2014526871A
Authority: JP
Inventors: 孝文森藤; 緒形　昌美; 昌美緒形
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-07-24
Filing date: 2013-07-17
Publication date: 2017-12-20
Anticipated expiration: 2033-07-17
Also published as: JPWO2014017348A1; CN104508538A; US9835864B2; US20150198808A1; WO2014017348A1; CN104508538B

Description

本技術は、画像表示装置および画像表示方法に関し、特に、表示素子に表示された画像を拡大光学系によって観察者眼に導くように構成されたヘッドマウントディスプレイなどの画像表示装置等に関する。

近年、使用者の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）が知られている。このヘッドマウントディスプレイは、原理的には、小型の表示素子に表示された画像を、拡大光学系で拡大して、観察者眼に導く構成である。つまり、ヘッドマウントディスプレイは、表示素子に表示された画像を光学的に拡大し、拡大された虚像として使用者に観察させるように構成されている。

この種のヘッドマウントディスプレイでは、例えば、図１４（ａ）に示すように、光学系の中心と観察者眼の位置にずれが生じた場合、快適な画像観察に映像を及ぼす。この場合、例えば、ずれ量に応じて、色ずれが発生したり、コントラストが低下したり、画像歪が発生したりする。なお、図１４（ｂ）は、光学系の中心と観察者眼の位置にずれがない場合を示している。

例えば、特許文献１には、光学系を移動可能に構成し、観察者が光学系を手動で移動調整して観察者眼と光学系の位置ずれを補正し得るヘッドマウントディスプレイが提案されている。

特開２００９−１１６１９６号公報

上述の特許文献１に記載される補正技術にあっては、観察者は、観察者眼と光学系の位置ずれがどの程度であるかを正確に知る手段がなく、光学系の位置を最適な位置に移動調整することが困難であった。

本技術の目的は、光学系と観察者眼の位置ずれの補正を適切に行い得るようにすることにある。

本技術の概念は、
観察者眼の眼球位置に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
画像表示装置にある。

本技術においては、位置関係検出部により、表示素子に表示された画像を上記観察者眼に導く光学系と観察者眼の位置関係が検出される。表示素子に表示された画像が、光学系により、観察者眼に導かれる。これにより、表示素子に表示された画像は、光学的に拡大され、拡大された虚像として観察者に観察される。例えば、光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第２の光学系が存在する、ようにされてもよい。例えば、表示素子に表示された画像を観察者眼に導く光学系を更に備える、ようにされてもよい。

例えば、観察者眼の眼球位置を推定する眼球位置推定部を更に備え、位置関係検出部は、この眼球位置推定部により推定された眼球位置に基づいて、光学系と観察者眼の位置関係を検出する、ようにされてもよい。この眼球位置の推定は、例えば、強膜反射法、ＥＯＧ（Electro-Oculogram）法、顔認識技術の応用などにより行う、ようにされてもよい。位置関係検出部により、推定された眼球位置に基づいて、光学系と観察者眼の位置関係が検出される。

位置関係補正部により、位置関係検出部で検出された位置関係に基づいて、光学系と観察者眼の位置関係が補正される。例えば、位置関係補正部は、位置関係検出部で検出された位置関係に基づいて、表示素子に表示される画像の表示位置をシフトする、ようにされてもよい。また、例えば、位置関係補正部は、位置関係検出部で検出された位置関係に基づいて、光学系を移動させる、ようにされてもよい。

また、例えば、位置関係補正部は、位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、観察者の操作に応じて、光学系と観察者眼の位置関係を制御する制御部とを有する、ようにされてもよい。

例えば、この場合、制御部は、観察者の操作に応じて、表示素子に表示される画像の表示位置のシフト制御を行う、ようにされてもよい。また、例えば、この場合、制御部は、観察者の操作に応じて、光学系の移動制御を行う、ようにされてもよい。

また、例えば、この場合、位置関係提示部は、表示素子に、位置関係検出部で検出された位置関係を表示する、ようにされてもよい。この場合、例えば、光学系と観察者眼のずれがゲージや文字等により表示されてもよい。また、この際、ずれを小さくするための、例えばリモコン装置の操作方法を表示する、ようにされてもよい。なお、この位置関係の表示を、上述の表示素子とは別個の表示素子に表示するようにされてもよい。また、この位置関係の提示を、音声、振動、さらには発光の強弱によって行う、ようにされてもよい。

このように本技術においては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれが補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことが可能となる。

なお、本技術において、例えば、光学系の傾きを推定する傾き推定部をさらに備え、位置関係検出部は、推定された眼球位置と共に、推定された傾きに基づいて、光学系と観察者眼の位置関係を検出する、ようにされてもよい。この場合、光学系が傾いている場合にあっても、光学系と観察者眼の位置関係を精度よく検出でき、光学系と観察者眼の位置ずれの補正を適切に行うことが可能となる。

本技術によれば、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

第１の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。光学系と眼球との位置関係の一例を示す図である。光学系と眼球との位置関係の他の例を示す図である。左眼画像、右眼画像の表示位置のシフト制御を概略的に示す図である。第２の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。第３の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。ＯＳＤ表示の一例を示す図である。第４の実施の形態としての光学透過のヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。第５の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。第６の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。第７の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。第８の実施の形態としての光学透過のヘッドマウントディスプレイ（単眼）の概略的な構成例を示す図である。赤外線センサの取り付け例を示す図である。従来のヘッドマウントディスプレイを説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．第７の実施の形態
８．第８の実施の形態
９．変形例

＜１．第１の実施の形態＞
［ヘッドマウントディスプレイ（両眼）の構成例］
図１は、第１の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００の概略的な構成例を示している。この構成例は両眼ＨＭＤである。このＨＭＤ１００は、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、接続部材１０２により一体的に接続されている。

メガネレンズ部１０１Ｌ，１０１Ｒは、それぞれ、メガネレンズとＨＯＥ（Holographic Optical Element）シートとが一体化されたものである。このＨＯＥシートは、外界光と表示光とを合成するハーフミラーのような機能と、表示画像を拡大する凹面や自由曲面の機能を併せ持っている。

メガネレンズ部１０１Ｌ，１０１Ｒに、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。この場合、赤外線センサ１０３Ｌは、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている。また、赤外線センサ１０３Ｒは、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている。また、メガネレンズ部１０１Ｌに、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。

赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。強膜反射法は、角膜（黒目）と強膜（白目）においての反射率が異なることを利用した手法である。この場合、赤外線センサは、観察者眼側に照射する微弱赤外線を水平方向にスキャンし、その反射光を検出する。角膜（黒目）と強膜（白目）における反射光の強さが大きく異なるので、センサ出力から観察者の眼球位置を推定することが可能となる。

また、ＨＭＤ１００は、画像補正部１１１と、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６を有している。

ディスプレイ１１３Ｌは、表示素子を構成し、左眼画像を表示する。このディスプレイ１１３Ｌは、例えばＬＣＤ（Liquid Crystal Display）により構成され、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、表示素子を構成し、右眼画像を表示する。このディスプレイ１１３Ｒは、例えばＬＣＤ（Liquid Crystal Display）により構成され、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。

眼球位置推定部１１４は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定する。この場合、眼球位置推定部１１４は、赤外線センサ１０３Ｌのセンサ出力のレベルに基づいて、角膜（黒目）スキャン時の角度ωLを、左眼の眼球位置の推定結果とする。また、この場合、眼球位置推定部１１４は、赤外線センサ１０３Ｒのセンサ出力のレベルに基づいて、角膜（黒目）スキャン時の角度ωRを、右眼の眼球位置の推定結果とする。

傾き推定部１１５は、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθを推定する。表示制御部１１６は、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系と左眼との位置関係を検出すると共に、右眼光学系と右眼との位置関係を検出する。

すなわち、表示制御部１１６は、左眼の眼球位置の推定結果である角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、右眼の眼球位置の推定結果である角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。そして、表示制御部１１６は、このように求められた位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsに基づいて、両眼間隔ｄeを算出する。

図２は、光学系と眼球との位置関係の一例を示している。この例の場合、両眼間隔ｄsは、以下の数式（１）に示すように表される。
ｄe＝ｄs−ｄL−ｄR ・・・（１）

なお、図２の例は、光学系の傾きθが０である場合を示している。しかし、光学系の傾きθが０でない場合もある。その場合、表示制御部１１６は、このように求められた位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する。

図３は、その場合における光学系と眼球との位置関係の一例を示している。この例の場合、両眼間隔ｄeは、以下の数式（２）に示すように表される。このように傾きθを考慮することで、両眼間隔ｄeを精度よく取得することが可能となる。
ｄe＝ｄs/cosθ−ｄL/cosθ＋ｄR/cosθ
＝(ｄs−ｄL＋ｄR)/cosθ ・・・（２）

表示制御部１１６は、両眼間隔ｄeに基づいて、左眼画像、右眼画像の表示位置を、水平方向の互いに逆方向にシフト制御する。つまり、表示制御部１１６は、画像を操作し、電子的に光学系を移動させることにより、自動で光学系と観察者の眼球位置の位置ずれを補正する。

表示制御部１１６は、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）に応じて、左眼画像、右眼画像の表示位置をシフトさせる。図４は、左眼画像、右眼画像の表示位置のシフト制御を概略的に示している。Ｓ＝０である場合には、図４（ａ）に示すように、左眼画像、右眼画像の水平方向へのシフト量は０とされる。

また、Ｓ＞０である場合には、図４（ｂ）に示すように、左眼画像、右眼画像の水平方向へのシフト量はそれぞれｓ／２とされ、表示位置が互いに離れるようにされる。また、Ｓ＜０である場合には、図４（ｃ）に示すように、左眼画像、右眼画像の水平方向へのシフト量はそれぞれ｜ｓ｜／２とされ、表示位置が互いに近づくようにされる。

図１に戻って、画像補正部１１１は、立体（３Ｄ）画像を表示するための左眼画像データ、右眼画像データに対して、表示制御部１１６の制御のもと、表示位置をシフトさせるための画像補正処理を行う。画像補正部１１１は、補正後の左眼画像データをディスプレイドライバ１１２Ｌに供給し、補正後の右眼画像データをディスプレイドライバ１１２Ｒに供給する。

［位置ずれ補正時の動作］
図１に示すＨＭＤ１００における光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。

左眼画像データは、画像補正部１１１を介してディスプレイドライバ１１２Ｌに供給される。このディスプレイドライバ１１２Ｌによりディスプレイ１１３Ｌが駆動され、このディスプレイ１１３Ｌに左眼画像が表示される。同様に、右眼画像データは、画像補正部１１１を介してディスプレイドライバ１１２Ｒに供給される。このディスプレイドライバ１１２Ｒによりディスプレイ１１３Ｒが駆動され、このディスプレイ１１３Ｒに右眼画像が表示される。

ディスプレイ１１３Ｌに表示された左眼画像からの光は、メガネレンズ部１０１Ｌで反射されて観察者の左眼に届く。これにより、ディスプレイ１１３Ｌに表示された左眼画像は、メガネレンズ部１０１Ｌで光学的に拡大され、拡大された虚像として、観察者の左眼で観察される。同様に、ディスプレイ１１３Ｒに表示された右眼画像からの光は、メガネレンズ部１０１Ｒで反射されて観察者の右眼に届く。これにより、ディスプレイ１１３Ｒに表示された右眼画像は、メガネレンズ部１０１Ｒで光学的に拡大され、拡大された虚像として、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ左眼画像、右眼画像が観察されることで、観察者には拡大された立体（３Ｄ）画像が知覚される。

この画像表示状態で、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｌから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。また、この画像表示状態で、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｒから観察者眼側に微弱赤外線が照射されて水平方向にスキャンされる。

赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力はそれぞれ眼球位置推定部１１４に供給される。この眼球位置推定部１１４では、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。この眼球位置推定部１１４からは、左眼、右眼の眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωL，ωRが出力される（図２、図３参照）。

また、メガネレンズ部１０１Ｌに取り付けられているジャイロセンサ１０４のセンサ出力は傾き推定部１１５に供給される。この傾き推定部１１５では、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθが推定される（図３参照）。

眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６に供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６に供給される。表示制御部１１６では、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。

表示制御部１１６では、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。

そして、表示制御部１１６により、画像補正部１１１が制御され、ディスプレイ１１３Ｌ，１１３Ｒに表示される左眼画像、右眼画像の表示位置がシフト制御される。この場合、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）に応じて、その差ｓが０となるように制御される。これにより、観察者の左眼に左眼画像の水平方向の中心が一致するようにされ、観察者の右眼に右眼画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

上述したように、図１に示すＨＭＤ１００においては、光学系と観察者眼の位置関係の検出結果に基づいて、左眼画像、右眼画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜２．第２の実施の形態＞
［ヘッドマウントディスプレイ（両眼）の構成例］
図５は、第２の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ａの概略的な構成例を示している。この構成例は両眼ＨＭＤである。この図５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このＨＭＤ１００Ａは、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、光学系調整機構１２２によりにより接続されている。この光学系調整機構１２２は、左右の光学系の間隔、つまり左眼光学系を構成するメガネレンズ部１０１Ｌと、右眼光学系を構成するメガネレンズ部１０１Ｒの間隔を伸縮する。

メガネレンズ部１０１Ｌ，１０１Ｒに、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。また、メガネレンズ部１０１Ｌに、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。

また、ＨＭＤ１００Ａは、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６Ａと、光学系位置補正部１１７を有している。ディスプレイ１１３Ｌは、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。

眼球位置推定部１１４は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定し、角膜（黒目）スキャン時の角度ωL，ωRを、眼球位置の推定結果として出力する（図２、図３参照）。傾き推定部１１５は、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１Ｌ，１０１Ｒを含む光学系の水平方向に対する傾きθを推定結果として出力する（図３参照）。

表示制御部１１６Ａは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。表示制御部１１６Ａは、この位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する（（２）式参照）。

そして、表示制御部１１６Ａは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）に応じて、左眼光学系、右眼光学系の位置を、水平方向の互いに逆方向にシフト制御する。つまり、表示制御部１１６Ａは、機械的に光学系を移動させることにより、自動で光学系と観察者の眼球位置の位置ずれを補正する。このシフト制御は、上述した左眼画像、右眼画像の表示位置のシフト制御と同様である（図４参照）。

光学系位置補正部１１７は、表示制御部１１６Ａの制御のもと、光学系位置を補正する。すなわち、光学系位置補正部１１７は、光学系調整機構１２２の伸縮を調整し、メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒの水平方向位置を調整する。また、これに伴って、光学系位置補正部１１７は、ディスプレイ１１３Ｌ，１１３Ｒの位置も調整する。

［位置ずれ補正時の動作］
図５に示すＨＭＤ１００Ａにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。

左眼画像データはディスプレイドライバ１１２Ｌに供給される。このディスプレイドライバ１１２Ｌによりディスプレイ１１３Ｌが駆動され、このディスプレイ１１３Ｌに左眼画像が表示される。同様に、右眼画像データはディスプレイドライバ１１２Ｒに供給される。このディスプレイドライバ１１２Ｒによりディスプレイ１１３Ｒが駆動され、このディスプレイ１１３Ｒに右眼画像が表示される。

眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６Ａに供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６Ａに供給される。表示制御部１１６Ａでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。

表示制御部１１６Ａでは、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。

そして、表示制御部１１６Ａにより、光学系位置補正部１１７が制御され、左眼光学系、右眼光学系の位置、つまりメガネレンズ部１０１Ｌ，１０１Ｒの位置およびディスプレイ１１３Ｌ，１１３Ｒの位置がシフト制御される。この場合、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）に応じて、その差ｓが０となるように制御される。これにより、観察者の左眼に左眼光学系の水平方向の中心が一致するようにされ、観察者の右眼に右眼光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

上述したように、図５に示すＨＭＤ１００Ａにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、左眼光学系、右眼光学系の位置がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜３．第３の実施の形態＞
［ヘッドマウントディスプレイ（両眼）の構成例］
図６は、第３の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｂの概略的な構成例を示している。この構成例は両眼ＨＭＤである。この図６において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このＨＭＤ１００Ｂは、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、接続部材１０２により一体的に接続されている。

また、ＨＭＤ１００Ｂは、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６Ｂと、画像補正部１１１と、ＯＳＤ重畳部１１８を有している。ディスプレイ１１３Ｌは、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。

表示制御部１１６Ｂは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。表示制御部１１６Ｂは、この位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する（（２）式参照）。

そして、表示制御部１１６Ｂは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）に応じて、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示を行う。図７は、ＯＳＤ表示の一例を示している。図７（ａ）は、差ｓ（位置ずれの量）を示すゲージを表示する例であって、ゲージを画面左端側に表示したものである。

図７（ｂ）も、差ｓ（位置ずれの量）を示すゲージを表示する例であって、ゲージを画面上端側に表示したものである。図７（ｃ）も差ｓ（位置ずれの量）を示すゲージを表示する例であって、ゲージを画面中央に表示したものである。ゲージを画面中央に表示することで、観察者がゲージ自体に注目して視線がずれることを防止できる。図７（ｄ）、（ｅ）は、差ｓ（位置ずれの量）を示す文字を表示する例である。また、図７（ｆ）は、差ｓを補正する操作をユーザに促すためのＯＳＤ表示の例を示しており、矢印Ｐで示すように、ユーザが操作すべきリモコン装置の操作ボタン（操作箇所）が示されている。なお、ゲージの表示、文字の表示、リモコン装置の操作ボタンの表示などを適宜組み合わせて表示することも考えられる。

また、表示制御部１１６Ｂは、ユーザ操作取得部１１９で取得されたユーザ操作に基づいて、左眼画像、右眼画像の表示位置をシフトさせる。なお、この場合、ユーザは、上述したように、差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示に基づいて、差ｓが０となるように、補正操作を行うことになる。

画像補正部１１１は、立体（３Ｄ）画像を表示するための左眼画像データ、右眼画像データに対して、表示制御部１１６Ｂの制御のもと、表示位置をシフトさせるための画像補正処理を行う。画像補正部１１１は、ＯＳＤ重畳部１１８を介して、補正後の左眼画像データをディスプレイドライバ１１２Ｌに供給し、補正後の右眼画像データをディスプレイドライバ１１２Ｒに供給する。ＯＳＤ重畳部１１８は、表示制御部１１６Ｂから出力されるＯＳＤ表示用の表示信号を、左眼画像データ、右眼画像データに重畳する。

［位置ずれ補正時の動作］
図６に示すＨＭＤ１００Ｂにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。

眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６Ｂに供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６Ｂに供給される。表示制御部１１６Ｂでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。

表示制御部１１６Ｂでは、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。

そして、表示制御部１１６Ｂからは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）が求められ、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号が出力される。この表示信号は、ＯＳＤ重畳部１１８に供給され、左眼画像データ、右眼画像データに重畳される。これにより、ディスプレイ１１３Ｌ，１１３Ｒに、ＯＳＤ表示される。

観察者により、このＯＳＤ表示に基づいて、差ｓが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｂに送る。この補正操作に基づいて、表示制御部１１６Ｂにより、画像補正部１１１が制御され、ディスプレイ１１３Ｌ，１１３Ｒに表示される左眼画像、右眼画像の表示位置がシフト制御される。これにより、観察者の左眼に左眼画像の水平方向の中心が一致するようにされ、観察者の右眼に右眼画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

上述したように、図６に示すＨＭＤ１００Ｂにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、左眼画像、右眼画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜４．第４の実施の形態＞
［ヘッドマウントディスプレイ（両眼）の構成例］
図８は、第４の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｃの概略的な構成例を示している。この構成例は両眼ＨＭＤである。この図８において、図２、図６と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このＨＭＤ１００Ｃは、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、光学系調整機構１２２によりにより接続されている。

また、ＨＭＤ１００Ｃは、ディスプレイドライバ１１２Ｌ，１１２Ｒと、ディスプレイ１１３Ｌ，１１３Ｒと、眼球位置推定部１１４と、傾き推定部１１５と、表示制御部１１６Ｃと、光学系位置補正部１１７と、ＯＳＤ重畳部１１８と、ユーザ操作取得部１１９を有している。ディスプレイ１１３Ｌは、ディスプレイドライバ１１２Ｌにより駆動されて、立体画像を構成する左眼画像を表示する。また、ディスプレイ１１３Ｒは、ディスプレイドライバ１１２Ｒにより駆動されて、立体画像を構成する右眼画像を表示する。

表示制御部１１６Ｃは、角度ωLに基づいて左眼光学系の観察者の左眼に対する位置ずれｄLを求め、角度ωRに基づいて右眼光学系の観察者の右眼に対する位置ずれｄRを求める。表示制御部１１６Ｃは、この位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeを算出する（（２）式参照）。

表示制御部１１６Ｃは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）に応じて、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示を行う。

また、表示制御部１１６Ｃは、ユーザ操作取得部１１９で取得されたユーザ操作に基づいて、左眼光学系、右眼光学系の位置をシフトさせる。なお、この場合、ユーザは、上述したように、差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示に基づいて、差ｓが０となるように、補正操作を行うことになる。

光学系位置補正部１１７は、表示制御部１１６Ｃの制御のもと、光学系位置を補正する。すなわち、光学系位置補正部１１７は、光学系調整機構１２２の伸縮を調整し、メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒの水平方向位置を調整する。また、これに伴って、光学系位置補正部１１７は、ディスプレイ１１３Ｌ，１１３Ｒの位置も調整する。ＯＳＤ重畳部１１８は、表示制御部１１６Ｃから出力されるＯＳＤ表示用の表示信号を、左眼画像データ、右眼画像データに重畳する。

［位置ずれ補正時の動作］
図８に示すＨＭＤ１００Ｃにおける光学系と観察者眼の位置ずれ補正時の動作を説明する。この位置ずれ補正時には、例えば、テスト用の左眼画像データおよび右眼画像データが使用される。

眼球位置推定部１１４の推定結果である角度ωL，ωRは表示制御部１１６Ｃに供給される。また、傾き推定部１１５の推定結果である傾きθは表示制御部１１６Ｃに供給される。表示制御部１１６Ｃでは、左眼、右眼の眼球位置推定結果および光学系の傾き推定結果に基づいて、左眼光学系の観察者の左眼に対する位置ずれｄLと、右眼光学系の観察者の右眼に対する位置ずれｄRが求められる（図２、図３参照）。

表示制御部１１６Ｃでは、位置ずれｄL，ｄRと、既知である赤外線センサ１０３Ｌ，１０３Ｒのセンサ間距離ｄsと、さらに傾きθに基づいて、両眼間隔ｄeが算出される（（２）式参照）。この場合、傾きθが考慮されることで、両眼間隔ｄeが高い精度で求められる。

そして、表示制御部１１６Ｃからは、両眼間隔ｄeと、傾きθを考慮したセンサ間距離ｄs・cosθとの差ｓ（ｄe−ｄs・cosθ）が求められ、この差ｓのＯＳＤ表示、あるいは、この差ｓを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号が出力される。この表示信号は、ＯＳＤ重畳部１１８に供給され、左眼画像データ、右眼画像データに重畳される。これにより、ディスプレイ１１３Ｌ，１１３Ｒに、ＯＳＤ表示される。

観察者により、このＯＳＤ表示に基づいて、差ｓが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｃに送る。この補正操作に基づいて、表示制御部１１６Ｃにより、光学系位置補正部１１７が制御され、左眼光学系、右眼光学系の位置、つまりメガネレンズ部１０１Ｌ，１０１Ｒの位置およびディスプレイ１０１Ｌ，１０１Ｒの位置がシフト制御される。これにより、観察者の左眼に左眼光学系の水平方向の中心が一致するようにされ、観察者の右眼に右眼光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

上述したように、図８に示すＨＭＤ１００Ｃにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、左眼光学系、右眼光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜５．第５の実施の形態＞
［ヘッドマウントディスプレイ（単眼）の構成例］
図９は、第５の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｄの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図９において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このＨＭＤ１００Ｄは、単眼ＨＭＤであることから、図１に示すＨＭＤ１００が２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図１に示すＨＭＤ１００における赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。

また、ＨＭＤ１００Ｄは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。

眼球位置推定部１１４は、図１のＨＭＤ１００における眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図１のＨＭＤ１００における傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。

表示制御部１１６Ｄは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｄは、この位置ずれｄに基づき、その値が０となるように、画像補正部１１１を制御し、ディスプレイ１１３に表示される画像の表示位置を水平方向にシフト制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

図９に示すＨＭＤ１００Ｄのその他は、詳細説明は省略するが、図１に示すＨＭＤ１００と同様に構成され、同様に動作する。上述したように、図９に示すＨＭＤ１００Ｄにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜６．第６の実施の形態＞
［ヘッドマウントディスプレイ（単眼）の構成例］
図１０は、第６の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｅの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図１０において、図５、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このＨＭＤ１００Ｅは、単眼ＨＭＤであることから、図５に示すＨＭＤ１００Ａが２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図５に示すＨＭＤ１００Ａにおける赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。

また、ＨＭＤ１００Ｅは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。

眼球位置推定部１１４は、図５のＨＭＤ１００Ａにおける眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図５のＨＭＤ１００Ａにおける傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。

表示制御部１１６Ｅは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｅは、この位置ずれｄに基づき、その値が０となるように、光学系位置補正部１１７を制御し、メガネレンズ部１０１、つまり光学系の位置を水平方向にシフト制御する。また、表示制御部１１６Ｅは、メガネレンズ部１０１のシフト制御に伴って、ディスプレイ１１３の位置も制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

図１０に示すＨＭＤ１００Ｅのその他は、詳細説明は省略するが、図５に示すＨＭＤ１００Ａと同様に構成され、同様に動作する。上述したように、図１０に示すＨＭＤ１００Ｅにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜７．第７の実施の形態＞
［ヘッドマウントディスプレイ（単眼）の構成例］
図１１は、第７の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｆの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図１１において、図６、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このＨＭＤ１００Ｆは、単眼ＨＭＤであることから、図６に示すＨＭＤ１００Ｂが２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図６に示すＨＭＤ１００Ｂにおける赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。

また、ＨＭＤ１００Ｆは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。

眼球位置推定部１１４は、図６のＨＭＤ１００Ｂにおける眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図６のＨＭＤ１００Ｂにおける傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。

表示制御部１１６Ｆは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｆは、位置ずれｄのＯＳＤ表示、あるいは、この位置ずれｄを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号を出力し、ＯＳＤ重畳部１１８に供給する。これにより、ディスプレイ１１３に、そのＯＳＤ表示が行われる。

観察者により、このＯＳＤ表示に基づいて、位置ずれｄが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｆに送る。表示制御部１１６Ｆは、この補正操作に基づいて、ディスプレイ１１３に表示される画像の表示位置をシフト制御する。これにより、観察者眼に画像の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

上述したように、図１１に示すＨＭＤ１００Ｆにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、画像の表示位置がシフト制御され、光学系と観察者眼の位置ずれが電子的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜８．第８の実施の形態＞
［ヘッドマウントディスプレイ（単眼）の構成例］
図１２は、第８の実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００Ｇの概略的な構成例を示している。この構成例は単眼ＨＭＤである。この図１２において、図８、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このＨＭＤ１００Ｇは、単眼ＨＭＤであることから、図８に示すＨＭＤ１００Ｃが２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１に赤外線センサ１０３が取り付けられている。この赤外線センサ１０３は、図８に示すＨＭＤ１００Ｃにおける赤外線センサ１０３Ｌ，１０３Ｒと同様に機能し、そのセンサ出力を眼球位置推定部１１４に送る。また、メガネレンズ部１０１に、メガネレンズ部１０１を含む光学系の傾きを検出するためのジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４は、そのセンサ出力を傾き推定部１０５に送る。

また、ＨＭＤ１００Ｇは、単眼ＨＭＤであるので、１系統のディスプレイドライバ１１２と、ディスプレイ１１３を有している。ディスプレイ１１３は、ディスプレイドライバ１１２により駆動されて、画像を表示する。ディスプレイ１１３に表示された画像からの光は、メガネレンズ部１０１で反射されて観察者眼（左眼または右眼）に届く。これによりディスプレイ１１３に表示された画像は、メガネレンズ部１０１で光学的に拡大され、拡大された虚像として、観察者眼で観察される。

眼球位置推定部１１４は、図８のＨＭＤ１００Ｃにおける眼球位置推定部１１４と同様に、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼の眼球位置を推定し、眼球位置の推定結果として、角膜（黒目）スキャン時の角度ωを出力する（図２、図３参照）。また、傾き推定部１１５は、図８のＨＭＤ１００Ｃにおける傾き推定部１１５と同様に、ジャイロセンサ１０４のセンサ出力に基づいて、メガネレンズ部１０１を含む光学系の水平方向に対する傾きθを推定する（図３参照）。

表示制御部１１６Ｇは、眼球位置推定結果および光学系の傾き推定結果に基づいて、光学系の観察者眼に対する位置ずれｄを求める。この位置ずれｄは、図３を参照すると、ｄL／cosθあるいはｄR／cosθに相当するものである。表示制御部１１６Ｇは、位置ずれｄのＯＳＤ表示、あるいは、この位置ずれｄを補正する操作をユーザに促すためのＯＳＤ表示のための表示信号を出力し、ＯＳＤ重畳部１１８に供給する。これにより、ディスプレイ１１３に、そのＯＳＤ表示が行われる。

観察者により、このＯＳＤ表示に基づいて、位置ずれｄが０となるように、補正操作が行われる。ユーザ操作取得部１１９は、このユーザ操作を取得し、表示制御部１１６Ｇに送る。表示制御部１１６Ｇは、この補正操作に基づいて、光学系位置補正部１１７を制御し、光学系の位置、つまりメガネレンズ部１０１の位置およびディスプレイ１０３の位置をシフト制御する。これにより、観察者眼に光学系の水平方向の中心が一致するようにされ、光学系と観察者眼の位置ずれが補正される。

上述したように、図１２に示すＨＭＤ１００Ｇにおいては、光学系と観察者眼の位置関係の検出結果に基づいて、光学系と観察者眼の位置ずれがＯＳＤ表示される。このＯＳＤ表示に基づいて、観察者により、位置ずれをなくすように補正操作が行われる。そして、この補正操作に応じて、光学系がシフト制御され、光学系と観察者眼の位置ずれが機械的に補正される。そのため、光学系と観察者眼の位置ずれの補正を適切に行うことができる。

＜９．変形例＞
なお、上述実施の形態では、光学系の傾きθを考慮することで補正精度を高めるようにしている。しかし、この光学系の傾きθを考慮しない簡易的な構成も考えられる。その場合には、ジャイロセンサ１０４、傾き推定部１１５等の構成要素は不要となる。

また、上述実施の形態では、ジャイセンサ１０４がメガネレンズ部１０１Ｌに取り付けられたジャイセンサ１０４のセンサ出力に基づいて光学系全体としての傾きθを推定する例を示した。しかし、左眼側と右眼側の光学系の傾きをそれぞれ検出する構成も考えられる。その場合には、メガネレンズ部１０１Ｌの他に、メガネレンズ部１０１Ｒにもジャイロセンサが取り付けられることになる。

また、上述実施の形態では、ディスプレイ１１３Ｌ，１１３Ｒに表示される左眼画像、右眼画像を水平方向にシフト制御することで、光学系と観察者眼の水平方向の位置ずれを補正する例を示した。詳細説明は省略するが、同様にして、さらに、光学系と観察者眼の垂直方向の位置ずれを補正することも考えられる。

また、上述実施の形態では、各メガネレンズ部に１個の赤外線センサが取り付けられ、観察者側に照射される微弱赤外線がスキャン操作される例を示した。しかし、例えば、図１３（ａ）に示すように、メガネレンズ部ＧＬに複数個の赤外線センサＩＲＳを取り付け、各赤外線センサＩＲＳのセンサ出力に基づいて観察者眼の位置を総合的に判断するように構成することも考えられる。この場合、赤外線センサＩＲＳの個数が多い場合には、各赤外線センサＩＲＳから観察者側に照射される微弱赤外線をスキャン操作しなくてもよくなる。

また、上述実施の形態では、各メガネレンズ部に赤外線センサが取り付けられる例を示した。しかし、例えば、図１３（ｂ）に示すように、反射シートＲＳを利用することで、赤外線センサＩＲＳをメガネレンズ部ＧＬからある程度離れた場所に設置することも可能である。なお、この場合にあっても、図１３（ｃ）に示すように、複数個の赤外線センサＩＲＳを配置して、各赤外線センサＩＲＳのセンサ出力に基づいて観察者眼の位置を総合的に判断するように構成することも考えられる。

また、上述実施の形態では、画像補正部１１１では、画像の表示位置を水平方向にシフトさせる例を示した。厳密に、さらに、垂直方向へのシフト、回転、拡大、縮小等により位置合わせを行うことも考えられる。

また、上述実施の形態では、眼球位置推定を強膜反射法を応用することで行っている。しかし、その他の技術、例えばＥＯＧ（Electro-Oculogram）法や顔認識技術等を応用することも考えられる。

また、上述実施の形態では、画像表示のためのディスプレイに、位置関係検出部で検出された位置関係（差ｓ、位置ずれｄなど）をＯＳＤ表示する例を示した。しかし、この位置関係を、画像表示のためのディスプレイとは別個の表示素子に表示するようにされてもよい。また、これらと共に、あるいはこれらの代わりに、位置関係を、音声、振動、さらには発光の強弱によって提示することも考えられる。

例えば、振動を利用する場合には、バイブレータを装備し、位置ずれの量が大きいほど振動が大きくなるように構成される。また、例えば、音声を利用する場合には、ずれ量や操作方法を再生し、あるいはずれ量が大きいほど音量が大きくなるように構成される。

また、上述実施の形態においては、本技術をＨＭＤに適用した例を示した。しかし、本技術は、これに限定されるものではなく、その他の画像表示装置、例えば、カメラのファインダ、電子双眼鏡などにも広く適用することが可能である。

また、本技術は、以下のような構成をとることもできる。
（１）観察者眼の眼球位置に基づいて、表示素子に表示された画像を上記観察者眼に導く光学系と上記観察者眼の位置関係を検出する位置関係検出部と、
上記位置関係検出部で検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
画像表示装置。
（２）上記位置関係補正部は、
上記位置関係検出部で検出された位置関係に基づいて、上記表示素子に表示される画像の表示位置をシフトする
前記（１）に記載の画像表示装置。
（３）上記位置関係補正部は、
上記位置関係検出部で検出された位置関係に基づいて、上記光学系を移動させる
前記（１）に記載の画像表示装置。
（４）上記位置関係補正部は、
上記位置関係検出部で検出された位置関係を観察者に提示する位置関係提示部と、
上記観察者の操作に応じて、上記光学系と上記観察者眼の位置関係を制御する制御部とを有する
前記（１）に記載の画像表示装置。
（５）上記制御部は、
上記観察者の操作に応じて、上記表示素子に表示される画像の表示位置のシフト制御を行う
前記（４）に記載の画像表示装置。
（６）上記制御部は、
上記観察者の操作に応じて、上記光学系の移動制御を行う
前記（４）に記載の画像表示装置。
（７）上記位置関係提示部は、
上記表示素子に、上記位置関係検出部で検出された位置関係を表示する
前記（４）から（６）のいずれかに記載の画像表示装置。
（８）上記光学系の傾きを推定する傾き推定部をさらに備え、
上記位置関係検出部は、
上記推定された眼球位置と共に、上記推定された傾きに基づいて、上記光学系と上記観察者眼の位置関係を検出する
前記（１）から（７）のいずれかに記載の画像表示装置。
（９）上記表示素子に表示された画像を上記観察者眼に導く光学系を更に備える
前記（１）から（８）のいずれかに記載の画像表示装置。
（１０）上記光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第２の光学系が存在する
前記（９）に記載の画像表示装置。
（１１）上記観察者眼の眼球位置を推定する眼球位置推定部を更に備え、
上記位置関係検出部は、上記眼球位置推定部により推定された眼球位置に基づいて、上記光学系と上記観察者眼の位置関係を検出する
前記（９）または（１０）に記載の画像表示装置。
（１２）表示素子に表示された画像を観察者眼に導く光学系と該観察者眼の位置関係を検出する位置関係検出ステップと、
上記検出された位置関係に基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正ステップとを備える
画像表示方法。

１００，１００Ａ〜１００Ｇ・・・ヘッドマウントディスプレイ
１０１，１０１Ｌ，１０１Ｒ・・・メガネレンズ部
１０２・・・接続部材
１０３，１０３Ｌ，１０３Ｒ・・・赤外線センサ
１０４・・・ジャイロセンサ
１１１・・・画像補正部
１１２，１１２Ｌ，１１２Ｒ・・・ディスプレイドライバ
１１３，１１３Ｌ，１１３Ｒ・・・ディスプレイ
１１４・・・眼球位置推定部
１１５・・・傾き推定部
１１６，１１６Ａ〜１１６Ｇ・・・表示制御部
１１７・・・光学系位置補正部
１１８・・・ＯＳＤ重畳部
１１９・・・ユーザ操作取得部
１２２・・・光学系調整機構

Claims

第１のセンサ出力による観察者眼の眼球位置の推定結果に基づいて表示素子に表示された画像を上記観察者眼に導く光学系の上記観察者眼に対する第１の位置ずれを求め、第２のセンサ出力による上記光学系の傾きの推定結果に基づいて上記第１の位置ずれを補正して第２の位置ずれを求める位置関係検出部と、
上記位置関係検出部で求められた上記第２の位置ずれに基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正部とを備える
画像表示装置。
上記位置関係補正部は、
上記位置関係検出部で求められた上記第２の位置ずれに基づいて、上記表示素子に表示される画像の表示位置をシフトする
請求項１に記載の画像表示装置。
上記位置関係補正部は、
上記位置関係検出部で求められた上記第２の位置ずれに基づいて、上記光学系を移動させる
請求項１に記載の画像表示装置。
上記位置関係補正部は、
上記位置関係検出部で求められた上記第２の位置ずれを観察者に提示する位置関係提示部と、
上記観察者の操作に応じて、上記光学系と上記観察者眼の位置関係を制御する制御部と
を有する
請求項１に記載の画像表示装置。
上記制御部は、
上記観察者の操作に応じて、上記表示素子に表示される画像の表示位置のシフト制御を行う
請求項４に記載の画像表示装置。
上記制御部は、
上記観察者の操作に応じて、上記光学系の移動制御を行う
請求項４に記載の画像表示装置。
上記位置関係提示部は、
上記表示素子に、上記位置関係検出部で求められた上記第２の位置ずれを表示する
請求項４に記載の画像表示装置。
上記表示素子に表示された画像を上記観察者眼に導く光学系を更に備える
請求項１に記載の画像表示装置。
上記光学系として、表示素子に表示された左眼画像を観察者の左眼に導く第1の光学系と、表示素子に表示された右眼画像を観察者の右眼に導く第２の光学系が存在する
請求項８に記載の画像表示装置。
第１のセンサ出力による観察者眼の眼球位置の推定結果に基づいて表示素子に表示された画像を上記観察者眼に導く光学系の上記観察者眼に対する第１の位置ずれを求め、第２のセンサ出力による上記光学系の傾きの推定結果に基づいて上記第１の位置ずれを補正して第２の位置ずれを求める位置関係検出ステップと、
上記位置関係検出ステップ求められた上記第２の位置ずれに基づいて、上記光学系と上記観察者眼の位置関係を補正する位置関係補正ステップを有する
画像表示方法。