JP5351311B1 - 立体映像観察デバイスおよび透過率制御方法 - Google Patents

Abstract

【課題】光の透過率を変更可能な光学透過型ＨＭＤにおけるユーザビリティを向上させる技術を提供する。
【解決手段】立体映像観察デバイス２００において、光学透過型ＨＭＤ２０８は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する。透過率変更部は、光学透過型ＨＭＤ２０８を透過する光の透過率を変更する。シャッタ制御部２２０は、透過率変更部が変更可能な光の透過率の下限値を設定する。
【選択図】図２

Description

本発明は、立体映像観察デバイス、およびその立体映像観察デバイスで実行される透過率制御方法に関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがＨＭＤの外の様子をシースルーで見ることができる光学透過型ＨＭＤも開発されている。

また、テレビモニタの高性能化が進み、奥行きを持った立体映像を提示することが可能な３次元モニタが普及してきている。従来の２次元の映像を表示するモニタとは異なり、３次元モニタが提示する映像は、前後方向に奥行きを持った立体的な映像となる。このような３次元モニタを実現する技術には様々な方式があるが、一例としては、左目用の視差画像と右目用の視差画像とを交互に時分割で表示するフレームシーケンシャル方式の３次元モニタが挙げられる。ユーザは、フレームシーケンシャル方式の３次元モニタの表示と同期して開閉するシャッタを備えるシャッタめがねを通して映像を観察することにより、立体的な映像を観察することができる。

本願の発明者は、フレームシーケンシャル方式の３次元モニタを観察するための光学シャッタを光学透過型ＨＭＤに備えることにより、３次元モニタとＨＭＤとの両方で立体映像を提示させる可能性について認識するに至った。また、３次元モニタを観察しないときでも、光学シャッタを利用することによって、光学透過型ＨＭＤに入射する外光の量を調整し、ＨＭＤの映像の視認性を向上させる可能性についても認識するに至った。

光学シャッタを利用して光学透過型ＨＭＤに入射する外光の量を調整する場合、ユーザがＨＭＤの外の様子をシースルーで見ている状態で不意に外光が遮断されると、ユーザにとっては突然外界の様子が見えなくなることになり、ユーザに困惑を与えかねない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、光の透過率を変更可能な光学透過型ＨＭＤにおけるユーザビリティを向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様は立体映像観察デバイスである。この立体映像観察デバイスは、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、前記光学透過型ＨＭＤを透過する光の透過率を変更する透過率変更部と、前記透過率変更部が変更可能な光の透過率の下限値を設定するシャッタ制御部とを含む。

本発明の別の態様は、透過率制御方法である。この方法は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤの位置座標の変化を取得するステップと、取得した位置座標の変化をもとに、前記光学透過型ＨＭＤに備えられた透過率変更部を制御して、当該光学透過型ＨＭＤに透過する光の透過率の下限値を設定するステップとをプロセッサに実行させる。

本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、光の透過率を変更可能な光学透過型ＨＭＤにおけるユーザビリティを向上させる技術を提供することができる。

実施の形態に係る立体映像観察デバイスの外観の一例を模式的に示す図である。 実施の形態に係る映像提示システムの全体構成を模式的に示す図である。 実施の形態に係る立体映像観察デバイスの構成を模式的に示す図である。 図４（ａ）−（ｂ）は、透過率の下限値と透過率の設定許可範囲との関係を示す図である。 実施の形態に係る通知情報生成部が生成するメッセージの一例を示す図である 実施の形態に係る立体映像観察デバイスの状態遷移図である。 実施の形態に係る通知情報生成部が生成するメッセージの別の例を示す図である。 実施の形態に係る立体映像観察デバイスによる透過率制御処理の流れを示すフローチャートである。 実施の形態に係る映像提示システムの全体構成を模式的に示す図である。

図１は、実施の形態に係る立体映像観察デバイス２００の外観の一例を模式的に示す図である。立体映像観察デバイス２００は、立体映像を提示する提示部２０２、第１撮像素子２０４、および種々のモジュールを収納する筐体２０６を含む。なお、図示はしないが、立体映像観察デバイス２００は音声を出力するためのイヤホンを備えている。

提示部２０２は、ユーザの目に立体映像を提示する光学透過型ＨＭＤと、光学透過型ＨＭＤを透過する外界の光の透過率を変更する透過率変更部とを含む。透過率変更部は、光の透過率を０％と１００％とを切り替えることにより、シャッタとしても機能する。透過率変更部は、例えば液晶シャッタやＥＣＤ（electrochromic display）等の既知の技術を用いて実現できる。第１撮像素子２０４は、立体映像観察デバイス２００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、第１撮像素子２０４は、立体映像観察デバイス２００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。第１撮像素子２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体２０６は、めがね形状の立体映像観察デバイス２００におけるフレームの役割を果たすとともに、立体映像観察デバイス２００が利用する様々なモジュール（図示せず）を収納する。立体映像観察デバイス２００が利用するモジュールとは、光学透過型ＨＭＤを実現するためのホログラム導光板を含む光学エンジン、透過率変更部を駆動するためのドライバや同期信号受信部、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、３Ｇ（3rd. Generation）モジュール、および照度センサ等である。これらのモジュールは例示であり、また立体映像観察デバイス２００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体映像観察デバイス２００が想定する利用シーンに応じて決定すればよい。

図１は、めがね型の立体映像観察デバイス２００を例示する図である。立体映像観察デバイス２００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体映像観察デバイス２００も本発明の実施の形態に含まれることは、当業者であれば容易に理解されよう。

図２は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、３次元モニタ３００、第２撮像素子３０２、および情報処理装置４００を含む。

３次元モニタ３００は、フレームシーケンシャル方式で立体映像を表示する。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。３次元モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。３次元モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ等の既知の提示デバイスを用いて実現できる。

上述したとおり、透過率変更部は光の透過率が可変なデバイスであり、立体映像観察デバイス２００を装着するユーザの目に到達する外光の量を変更する。以下本明細書では、透過率変更部として液晶シャッタ２１０を採用することを前提に説明するが、透過率変更部は液晶シャッタに限られず、光の透過率が可変であれば他の技術で代替できることを当業者には理解されることである。

液晶シャッタ２１０は、３次元モニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、３次元モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、３次元モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。

これを実現するために、同期信号受信部２１２は、シャッタ切替のための同期信号を受信する。同期信号は、３次元モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。シャッタ制御部２２０は、同期信号受信部２１２が受信した同期信号にしたがって、液晶シャッタ２１０の開閉を制御する。

上述したように、提示部２０２はユーザの目に立体映像を提示する光学透過型ＨＭＤ２０８と、光学透過型ＨＭＤ２０８を透過する外界の光の透過率を変更する液晶シャッタ２１０とを含む。

映像取得部２２６は、立体映像観察デバイス２００を装着したユーザに提示するための仮想的な３次元イメージを取得する。映像取得部２２６は、図示しない通信モジュールを介して外部から映像を取得してもよいし、３次元レンダリング技術を用いて映像を生成することで取得してもよい。ここで映像取得部２２６が、例えば映画やゲーム等の音声を含むコンテントを取得する場合、音声取得部２２２がその音声を取得する。音声取得部２２２が取得した音声は音声出力部２１６で再生される。音声出力部２１６は、立体映像観察デバイス２００に備えられたイヤホン（図示せず）等を用いて実現できる。

光学透過型ＨＭＤ２０８は、立体映像観察デバイス２００を装着したユーザに、映像取得部２２６が取得した３次元イメージを実空間中に重ねて投影した映像を提示する。図３は、実施の形態に係る光学透過型ＨＭＤ２０８の提示部２０２に提示される映像の一例を示す図である。図３に示す例では、実在する道路２５４上に、女性の人物２５０と男性の人物２５２とが実際に存在している。第１撮像素子２０４が撮像した女性の人物２５０と男性の人物２５２との映像は、映像取得部２２６中の図示しない人物認識エンジンで解析される。人物の特定が成功すると、映像取得部２２６は女性の人物２５０と男性の人物２５２とにそれぞれ吹き出し型の映像２５６および２５８を重ね、人物の顔写真と名前とを表示する。なお、人物認識エンジンは機械学習手法等、既知の手法を用いて実現すればよい。

映像取得部２２６は、図示しないＧＰＳセンサから立体映像観察デバイス２００を装着したユーザの存在位置および進行方向を取得し、その方向にある主な施設等を表示してもよい。図３に示す例では、ユーザの進行方向に存在する駅の名前を表示するテロップが、矢印形のインジケータ２６０とともに実空間の映像上に重ねて表示されている。また、ユーザの現在位置から目的地に至るまでの簡略化された地図２６２も、実空間の映像上に重ねて表示されている。その他にも、図示しない３Ｇモジュールを介して携帯電話通信網からメールを受信したことを示すメール受信テロップ２６４や、現在の外光の透過率（後述する）を示すインジケータ２６６も表示されている。

図３に示すように、光学透過型ＨＭＤ２０８の提示部２０２は、実空間の映像上に仮想の映像を重ねて表示する。したがって、例えば立体映像観察デバイス２００を昼間に野外で使用する場合と、夜間や建物の内部で使用する場合とでは、環境光の明るさが大きく異なる。このように、実空間の映像上に重ねて表示する仮想の映像の視認性を向上させるために、例えば環境光の明るさ等の物理量に応じて、提示部２０２を透過する外光の量を調整することが好ましい。

そこで液晶シャッタ２１０は、シャッタ制御部２２０の制御の下、光学透過型ＨＭＤ２０８に透過する外光の透過率を変更する。ここで「透過率」とは、液晶シャッタ２１０を透過する光の割合であり、液晶シャッタ２１０に侵入する前の光量を１００としたときの液晶シャッタ２１０を透過後の光量を百分率で表した値である。

ここで、光学透過型ＨＭＤ２０８の提示部２０２に提示される映像が、例えば映画の映像のように外界の映像を含まない映像であれば、透過率を低く設定するほど、すなわち外光を通しにくい設定とするほど、映像の視認性が高くなる。一方、通常の据置型のテレビモニタを使用する場合とは異なり、立体映像観察デバイス２００はユーザの頭部に装着した態様で使用されるため、ユーザは映像を観察しつつ自由に動き回ることができる。したがって、外光を全く通さないような設定ではユーザは自由に動き回るのが困難となり、ユーザビリティが損なわれる。そこでシャッタ制御部２２０は、液晶シャッタ２１０が変更可能な光の透過率の下限値も設定する。ここでシャッタ制御部２２０が設定する「透過率の下限値」とは、液晶シャッタ２１０に許可される透過率の設定範囲の下限値である。

図４（ａ）−（ｂ）は、透過率の下限値と透過率の設定許可範囲との関係を示す図である。図４（ａ）は透過率の下限値が２０％の場合の透過率の設定許可範囲を示す図であり、図４（ｂ）は透過率の下限値が５０％の場合の透過率の設定許可範囲を示す図である。

図４（ａ）に示すように、シャッタ制御部２２０が透過率の下限値を２０％と設定した場合、液晶シャッタ２１０は２０％から１００％の範囲であれば透過率を変更可能であるが、透過率の下限値である２０％を下回る設定は禁止される。図４（ａ）において、透過率の設定が禁止される範囲は斜線で示されている。透過率の下限値が２０％に設定された場合、少なくとも外光の２０％は液晶シャッタ２１０を透過して提示部２０２に到達し、外光が非透過となる状態は防止される。このように、シャッタ制御部２２０が透過率の下限値を設定することにより、提示部２０２に提示される映像の視認性と、外界映像の提供によるユーザビリティの向上とのバランスを制御することができる。以下本明細書において、「透過率の下限値」を「下限透過率Ｔ_ｄ」と記載することもある。

図２の説明に戻る。シャッタ制御部２２０は、検出部２１４が検出する物理量に基づいて、透過率の下限値を設定する。このため、検出部２１４は、照度検出部２３０、動き検出部２３２、近接度検出部２３４、およびこれらを統括的に制御する検出制御部２２８を含む。

照度検出部２３０は、立体映像観察デバイス２００の周囲の照度を検出する。シャッタ制御部２２０は、照度検出部２３０が検出した照度をもとに、光の透過率の下限値を変更する。具体的には、シャッタ制御部２２０は、照度検出部２３０が取得した照度が高い場合は、低い場合よりも、透過率の下限値を小さく設定する。図４に示す例では、図４（ａ）が照度が高い場合の透過率の設定許可範囲であり、図４（ｂ）が照度が低い場合の透過率の設定許可範囲である。これにより、例えばユーザが立体映像観察デバイス２００を昼の野外で使用するときは、透過率を低く設定することが許可される。昼の野外は環境光の明るさが大きいため、透過率を低く設定されたとしても、ユーザは外界の様子を十分に観察することができるからである。反対に、夜間や建物の内部は環境光の明るさが小さいため、透過率の下限値を高く設定することによって、ユーザの目に届く外界の光量を担保する。

上述したとおり、立体映像観察デバイス２００はユーザの頭部に装着した態様で使用されるため、ユーザは自由に動き回ることができる。ユーザが移動中に立体映像観察デバイス２００を使用するときは周囲の環境が常に変化するため、ユーザは外界の様子が観察できることが好ましい。一方、家庭内等において静止状態で映画等のコンテントを視聴する場合には、ユーザは外界の映像を完全に遮断することを望む場合もある。このように、立体映像観察デバイス２００の移動状態に応じて、設定可能な透過率の範囲を変更することが好ましい。

そこで動き検出部２３２は、立体映像観察デバイス２００の速度や加速度等、立体映像観察デバイス２００の位置座標の変化に関する情報を取得する。シャッタ制御部２２０は、動き検出部２３２が取得した位置座標の変化をもとに、液晶シャッタ２１０が変更可能な光の透過率の下限値を変更する。より具体的には、シャッタ制御部２２０は、動き検出部２３２が取得した位置座標の変化が小さい場合は、変化率が大きい場合よりも、液晶シャッタ２１０が変更可能な光の透過率の下限値を小さく設定する。図４に示す例では、図４（ａ）が位置座標の変化が小さい場合における透過率の設定許可範囲であり、図４（ｂ）が位置座標の変化が大きい場合の透過率における設定許可範囲である。

これにより、例えばユーザが高速で移動しているときや加速度が非常に大きいときなどに、ユーザが外界の様子が確認できる状態を保つことが可能となる。なお、シャッタ制御部２２０は、照度検出部２３０が検出した照度に基づく透過率の下限値設定の制御と、動き検出部２３２が検出した位置座標の変化に基づく透過率の下限値設定の制御とを同時に行ってもよい。例えば、ユーザが同じ速度で移動している場合であっても、そのときの環境光の照度が高い場合は、低い場合よりも、シャッタ制御部２２０は透過率の下限値を小さく設定する。これにより、環境光の照度とユーザの移動速度との両方を考慮した透過率の下限値設定が実現できる。

またシャッタ制御部２２０は、透過率の下限値設定の制御に用いる物理量に優先順位を設けてもよい。例えば、シャッタ制御部２２０は、環境光の照度の情報よりも、ユーザの移動速度の情報を優先して、透過率の下限値を設定する。具体的には、環境光の照度が低い場合であっても、ユーザが静止している場合には、シャッタ制御部２２０は透過率の下限値を０％に設定する。これにより、例えばユーザが家庭内において照明を落とし、かつ外光を遮断して、映画等のコンテンツを楽しむことが可能となる。

検出部２１４内の近接度検出部２３４は、立体映像観察デバイス２００と周囲の物体や人物との間の距離を測定する。シャッタ制御部２２０は、近接度検出部２３４が測定した周囲のものとの距離が所定の距離以下となった場合、透過率の下限値を上昇させる。ここで「所定の距離」とは、シャッタ制御部２２０が透過率の下限値を強制的に上昇させるか否かを判断するための基準距離であり、想定される立体映像観察デバイス２００の利用シーンに応じて実験によって定めればよいが、例えば２メートルである。これにより、例えば立体映像観察デバイス２００で再生されるコンテントに集中しているユーザに対し、物体が近づいていることの気づきを与えることができる。そこで、「所定の距離」は、動き検出部２３２が検出した位置座標の変化に応じて変更してもよい。具体的には、ユーザの移動速度が速い場合は、遅い場合よりも、「所定の距離」の距離を長く設定してもよい。

以上説明したとおり、シャッタ制御部２２０は、検出部２１４が検出する物理量に基づいて透過率の下限値を自動で設定する。このため、立体映像観察デバイス２００を利用するユーザが意図しない間に、透過率の下限値が大きく変更される場合もありうる。この結果、液晶シャッタ２１０に実際に設定される透過率も大きく変更されることも起こり得る。例えば液晶シャッタ２１０に設定される透過率が２０％から６０％に変更されると、ユーザの目に到達する光の量が３倍に増えるため、ユーザに違和感を与える場合もある。反対に、液晶シャッタ２１０に設定される透過率が６０％から２０％に変更されると、外界の視認性が低下するかもしれない。

そこで通知情報生成部２２４は、シャッタ制御部によって液晶シャッタ２１０に許可される変更可能な光の透過率が所定量以上変更される場合、実際に透過率の設定が変更されるのに先立って、透過率が変更される旨を示すメッセージを生成し、光学透過型ＨＭＤ２０８に提示させる。ここで「透過率の所定量」とは、通知情報生成部２２４がユーザに気づきを与えるメッセージを生成するか否かを決定するために用いられる、透過率の基準変更量である。「透過率の所定量」は、立体映像観察デバイス２００の想定される利用シーンを考慮して実験により定めればよい。

図５は、実施の形態に係る通知情報生成部２２４が生成するメッセージの一例を示す図である。図５に示すように、ユーザに気づきを与えやすくするために、ユーザが実際に観察している景色に情報が重ねて表示される。これにより、ユーザは透過率が変更されることに対する心構えができ、ユーザに与える不意打ち感を低減することができる。なお、通知情報生成部２２４は透過率が変更される旨を示すメッセージとして、光学透過型ＨＭＤ２０８に提示させる映像に代えて、あるいは映像に加えて、音声情報を生成してもよい。この場合、通知情報生成部２２４が生成した音声は音声取得部２２２を介して音声出力部２１６で再生される。

以上説明したとおり、シャッタ制御部２２０は、検出部２１４が検出する物理量に基づいて透過率の下限値を自動で設定するが、ユーザによっては、シャッタ制御部２２０による透過率の下限値制御を停止させることを望む場合もありうる。例えば、アトラクションの会場やアミューズメントセンタ等において立体映像観察デバイス２００を使用する場合である。

そこで切換部２１８は、シャッタ制御部２２０による液晶シャッタ２１０が変更可能な光の透過率の下限値制御の可否を設定する。切換部２１８によってシャッタ制御部２２０による液晶シャッタ２１０が変更可能な光の透過率の下限値制御が禁止されると、立体映像観察デバイス２００は外光の透過率が０％、すなわち非透過状態が許可されることになる。

切換部２１８は、立体映像観察デバイス２００に設けられたハードウェアスイッチ（図示せず）を用いて実現できる。あるいは、立体映像観察デバイス２００の動作を統括的に制御する基本ソフトウェアの制御の下、ソフトウェアスイッチを用いて実現してもよい。いずれにしても、切換部２１８の設定によって、立体映像観察デバイス２００は非透過許可状態と非透過禁止状態とのふたつの状態を遷移することになる。

図６は、実施の形態に係る立体映像観察デバイス２００の状態遷移図である。図６に示すように、切換部２１８がシャッタ制御部２２０による液晶シャッタ２１０が変更可能な光の透過率の下限値制御を許可する場合、立体映像観察デバイス２００は非透過許可状態ＳＴ１となる。立体映像観察デバイス２００が非透過許可状態ＳＴ１にあるとき、切換部２１８がシャッタ制御部２２０による液晶シャッタ２１０が変更可能な光の透過率の下限値制御禁止側に切り替わると、立体映像観察デバイス２００は非透過禁止状態ＳＴ２に遷移する。また、立体映像観察デバイス２００が非透過禁止状態ＳＴ２にあるとき、切換部２１８がシャッタ制御部２２０による液晶シャッタ２１０が変更可能な光の透過率の下限値制御を再度許可すると、立体映像観察デバイス２００は非透過許可状態ＳＴ１に遷移する。

上述したとおり、立体映像観察デバイス２００が非透過許可状態ＳＴ１にあるときは、液晶シャッタ２１０によって外光が完全に遮断される場合も起こり得る。そこで通知情報生成部２２４は、切換部２１８によって立体映像観察デバイス２００の状態が変更されるときは、その旨を事前にユーザに通知するメッセージを生成し、光学透過型ＨＭＤ２０８に表示させる。シャッタ制御部２２０は、通知情報生成部２２４が生成したメッセージが光学透過型ＨＭＤ２０８に表示された後に、立体映像観察デバイス２００の状態に応じた透過率の下限値制御を実行する。

図７は、実施の形態に係る通知情報生成部２２４が生成するメッセージの別の例を示す図である。図５に示す場合と同様に、ユーザに確実に気づきを与えるために、ユーザが実際に観察している景色に情報が重ねて表示される。これにより、ユーザは立体映像観察デバイス２００の状態が変更されることに対する心構えができ、ユーザに与える不意打ち感を低減することができる。

図８は、実施の形態に係る立体映像観察デバイス２００による透過率制御処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば立体映像観察デバイス２００の電源が投入されたときに開始する。

シャッタ制御部２２０は、アプリケーション等から透過率をＴ_ａに設定すべき要求を取得するか、あるいは検出部２１４が検出した物理量をもとに、液晶シャッタ２１０が光学透過型ＨＭＤまで透過させる外光の透過率をＴ_ａに変更することを決定する（Ｓ２）。シャッタ制御部２２０は、切換部２１８によって立体映像観察デバイス２００の状態が非透過許可状態にあるか否かを調べる。立体映像観察デバイス２００が非透過許可状態である場合（Ｓ４のＹ）、シャッタ制御部２２０は、液晶シャッタ２１０を制御して、光学透過型ＨＭＤまで透過させる外光の透過率をＴ_ａに設定する（Ｓ６）。

立体映像観察デバイス２００が非透過禁止状態である場合（Ｓ４のＮ）、シャッタ制御部２２０は、決定した透過率をＴ_ａが下限透過率Ｔ_ｄ以上か否かを調べる。Ｔ_ａ≧Ｔ_ｄの場合（Ｓ８のＹ）、シャッタ制御部２２０は、液晶シャッタ２１０を制御して、光学透過型ＨＭＤまで透過させる外光の透過率をＴ_ａに設定する（Ｓ６）。Ｔ_ａ＜Ｔ_ｄの場合（Ｓ８のＮ）、シャッタ制御部２２０は、液晶シャッタ２１０を制御して、光学透過型ＨＭＤまで透過させる外光の透過率を下限透過率Ｔ_ｄに設定する（Ｓ１０）。シャッタ制御部２２０が光学透過型ＨＭＤまで透過させる外光の透過率を設定すると、本フローチャートにおける処理は終了する。

以上、実施の形態に係る立体映像観察デバイス２００を主に単独で使用する場合について説明した。前述したとおり、立体映像観察デバイス２００の液晶シャッタ２１０は、フレームシーケンシャル方式の３次元モニタを観察するための光学シャッタとしても機能する。以下、実施の形態に係る立体映像観察デバイス２００を用いて、フレームシーケンシャル方式の３次元モニタを観察する場合について説明する。

図９は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、３次元モニタ３００、および情報処理装置４００を含む。

３次元モニタ３００は、フレームシーケンシャル方式で立体映像を表示する。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。３次元モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。３次元モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ等の既知の提示デバイスを用いて実現できる。

液晶シャッタ２１０は、３次元モニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、３次元モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、３次元モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。

これを実現するために、同期信号受信部２１２は、シャッタ切替のための同期信号を受信する。同期信号は、３次元モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。シャッタ制御部２２０は、同期信号受信部２１２が受信した同期信号にしたがって、液晶シャッタ２１０の開閉を制御する。

このように、液晶シャッタ２１０は、外界の光の透過率を変更する機能と、フレームシーケンシャル方式の３次元モニタを観察するための光学シャッタとしての機能との、ふたつの機能を持つ。したがって、図９に示す例のように、３次元モニタ３００と光学透過型ＨＭＤ２０８とを同時に使用してユーザに３次元映像を提示する場合、シャッタ制御部２２０は、液晶シャッタ２１０が上述のふたつの機能を同時に実現するように、液晶シャッタ２１０の動作を制御する。以下、上述のふたつの機能を同時に実現させる場合における、シャッタ制御部２２０による液晶シャッタ２１０の制御について具体的に説明する。

液晶シャッタ２１０の透過率の変更は、液晶と呼ばれる分子を利用して実現される。液晶は印加される電圧の大きさに応じて偏光角度が変化する性質があり、この電圧を制御することによって液晶分子の偏光角度を制御し、液晶分子を透過する光量を制御することができる。液晶分子に電圧を印加しないときに透過率が１００％になる場合と、０％になる場合とのふたつの方式が存在するが、いずれにしても、液晶分子に印加する電圧の大きさを制御することによって、液晶シャッタ２１０の透過率を０％から１００％まで制御することができる。例えば液晶シャッタ２１０の透過率が５０％となるような電圧を印加すれば、当然ながら、そのとき液晶シャッタ２１０を透過する光量は５０％となる。以下、説明の便宜上、液晶シャッタ２１０の透過率が０％のとき、「液晶シャッタ２１０のシャッタがオン」と記載する。液晶シャッタ２１０の透過率が０％より大きいときは、透過率の大きさに関わらず、「液晶シャッタ２１０のシャッタがオフ」と記載する。

液晶シャッタ２１０を高速に開閉すること、すなわち、液晶シャッタ２１０の透過率を０％と１００％とを交互に変更することによっても、単位時間あたりに液晶シャッタ２１０を透過する光量を制御することができる。例えば、液晶シャッタ２１０の透過率を所定の間隔（例えば１／１２０秒間隔）で０％と１００％とを切り替える場合、単位時間あたりに光が液晶シャッタ２１０を１００％透過する時間と、完全に遮蔽される時間とが等しくなる。この結果、単位時間あたりに液晶シャッタ２１０を透過する光量は５０％となる。

このように、シャッタ制御部２２０は、液晶シャッタ２１０のシャッタをオンとして透過率を０％とする期間Ｔ_ＯＮ、シャッタをオフとする期間Ｔ_ＯＦＦ、およびシャッタがオフのときの液晶の偏光角度を制御して、光の透過率Ｍを変更する。

より具体的に、シャッタ制御部２２０は、設定目標とする透過率をＭ、液晶シャッタ２１０のシャッタをオンとする期間をＴ_ＯＮ、シャッタをオフとする期間をＴ_ＯＦＦとするとき、シャッタがオフのときの光の透過率Ｎが、以下の式（１）を満たすように、液晶に印加する電圧の大きさを制御して、液晶の偏光角度を制御する。
Ｎ＝（Ｔ_ＯＮ＋Ｔ_ＯＦＦ）／Ｔ_ＯＦＦ×Ｍ （１）

例えば、シャッタ制御部２２０が、液晶シャッタ２１０の透過率Ｍを３０％に設定する場合を考える。ここで、液晶シャッタ２１０は、１／６０秒間オンとなり、１／１２０秒間オフとなることを繰り返すとする。すなわち、Ｔ_ＯＮ＝１／６０、Ｔ_ＯＦＦ＝１／１２０、Ｍ＝０．３である。これらの値を式（１）に代入すると、Ｎ＝（１／６０＋１／１２０）／（１／１２０）×０．３＝０．９を得る。

この例では、Ｔ_ＯＮ：Ｔ_ＯＦＦ＝２：１であるから、単位時間で考えると液晶シャッタ２１０を光が透過可能な時間は１／３である。したがって、全体として液晶シャッタ２１０の透過率Ｍを３０％とするためには、シャッタがオフのときの光の透過率は９０％に設定しなければならないことを示している。

以上の構成による立体映像観察デバイス２００の利用シーンは以下のとおりである。非透過禁止状態ＳＴ２にある立体映像観察デバイス２００をユーザが装着して光学透過型ＨＭＤ２０８に提示される映像を観察すると、シャッタ制御部２２０は、検出部２１４が検出した物理量にしたがって、液晶シャッタ２１０を透過する光量の下限値を設定する。シャッタ制御部２２０は、液晶シャッタ２１０に設定された透過率の下限値を下回らない範囲において実際に設定された透過率を実現するように、式（１）にしたがって、液晶シャッタ２１０の動作を制御する。

以上述べたように、実施の形態に係る立体映像観察デバイス２００によれば、光の透過率を変更可能な光学透過型ＨＭＤにおけるユーザビリティを向上させる技術を提供することができる。特に、光学透過型ＨＭＤに非透過禁止状態を設けることにより、アプリケーションからの変更要求や透過率制御の誤動作等に起因してユーザに与える困惑を低減することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
上記では、検出部２１４が照度検出部２３０、動き検出部２３２、および近接度検出部２３４を含む場合について説明したが、検出部２１４に実装されるセンサはこれらに限られない。この他にも例えば温度センサや音量センサ、湿度センサなど、立体映像観察デバイス２００の利用シーンに応じて種々のセンサを搭載してもよい。

（第２の変形例）
上記では、切換部２１８が立体映像観察デバイス２００の非透過許可状態と非透過禁止状態とを切り替え可能であることについて説明したが、立体映像観察デバイス２００の出荷の時には、非透過禁止状態としておくことが好ましい。これにより、立体映像観察デバイス２００をはじめて利用するユーザに、透過率制御に起因して与えうる困惑を低減することができる。

１００ 映像提示システム、 ２００ 立体映像観察デバイス、 ２０２ 提示部、 ２０４ 第１撮像素子、 ２０６ 筐体、 ２０８ 光学透過型ＨＭＤ、 ２１０ 液晶シャッタ、 ２１２ 同期信号受信部、 ２１４ 検出部、 ２１６ 音声出力部、 ２１８ 切換部、 ２２０ シャッタ制御部、 ２２２ 音声取得部、 ２２４ 通知情報生成部、 ２２６ 映像取得部、 ２２８ 検出制御部、 ２３０ 照度検出部、 ２３２ 動き検出部、 ２３４ 近接度検出部、 ２６４ メール受信テロップ、 ３００ ３次元モニタ、 ４００ 情報処理装置。

Claims (9)

1. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、
   前記光学透過型ＨＭＤに透過する光の透過率を変更する透過率変更部と、
   前記透過率変更部が変更可能な光の透過率の下限値を設定するシャッタ制御部とを含むことを特徴とする立体映像観察デバイス。
2. 前記立体映像観察デバイスの位置座標の変化を取得する動き検出部をさらに含み、
   前記シャッタ制御部は、前記動き検出部が取得した位置座標の変化をもとに、前記透過率変更部が変更可能な光の透過率の下限値を変更することを特徴とする請求項１に記載の立体映像観察デバイス。
3. 前記シャッタ制御部は、前記動き検出部が取得した位置座標の変化が小さい場合は、変化が大きい場合よりも、前記透過率変更部が変更可能な光の透過率の下限値を小さく設定することを特徴とする請求項２に記載の立体映像観察デバイス。
4. 前記シャッタ制御部による前記透過率変更部が変更可能な光の透過率の下限値制御の可否を設定する切換部をさらに含むことを特徴とする請求項１から３のいずれかに記載の立体映像観察デバイス。
5. 前記シャッタ制御部が、前記透過率変更部が変更可能な光の透過率を所定量以上変更する場合、透過率の設定を変更するのに先立って、透過率が変更される旨を光学透過型ＨＭＤに提示させる変更通知部をさらに含むことを特徴とする請求項１から４のいずれかに記載の立体映像観察デバイス。
6. 前記光学透過型ＨＭＤを透過する光の透過率を変更する透過率変更部は、フレームシーケンシャル方式の３次元モニタを観察するための液晶シャッタであり、
   前記シャッタ制御部は、透過率変更部のシャッタをオンとして透過率を０％とする期間、シャッタをオフとして透過率を１００％とする期間、およびシャッタがオフのときの液晶の偏光角度を制御して、光の透過率を変更することを特徴とする請求項１から５のいずれかに記載の立体映像観察デバイス。
7. 前記シャッタ制御部は、透過率変更部のシャッタをオンとする期間をＴ_ＯＮ、透過率変更部のシャッタをオフとする期間をＴ_ＯＦＦ、透過率変更部の設定目標とする透過率をＭとするとき、透過率変更部のシャッタがオフのときの光の透過率Ｎが、Ｎ＝（Ｔ_ＯＮ＋Ｔ_ＯＦＦ）／Ｔ_ＯＦＦ×Ｍとなるように、液晶の偏光角度を制御することを特徴とする請求項６に記載の立体映像観察デバイス。
8. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤの位置座標の変化を取得するステップと、
   取得した位置座標の変化をもとに、前記光学透過型ＨＭＤに備えられた透過率変更部を制御して、当該光学透過型ＨＭＤを透過する光の透過率の下限値を設定するステップとをプロセッサに実行させることを特徴とする透過率制御方法。
9. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤの位置座標の変化を取得する機能と、
   取得した位置座標の変化をもとに、前記光学透過型ＨＭＤに備えられた透過率変更部を制御して、当該光学透過型ＨＭＤを透過する光の透過率の下限値を設定する機能とをコンピュータに実現させることを特徴とするプログラム。

Images