WO2018078777A1

WO2018078777A1 - 空中映像表示システム、波長選択結像装置、映像表示装置、及び空中映像表示方法

Info

Publication number: WO2018078777A1
Application number: PCT/JP2016/081937
Authority: WO
Inventors: 利樹石井
Original assignee: マクセル株式会社
Priority date: 2016-10-27
Filing date: 2016-10-27
Publication date: 2018-05-03

Abstract

空中映像表示システムは、取得した映像信号に基づく映像を画面に表示する映像表示器を備えた映像表示装置と、画面に表示された映像を含む映像光を空中で実像に結像させる結像部材と、結像部材における映像光の入射面側に配置され、可視光は透過しかつ非可視光は反射する特性を有する波長選択反射部材と、実像に対して入力操作を行う被検出体が反射した非可視光を受光し、非可視光像からなる被検出体像を撮像する撮像器と、を備える。映像表示装置は、撮像器から被検出体像を取得し、被検出体像を解析して被検出体の入力操作内容を解析する入力操作判定部と、入力操作判定部が解析した入力操作内容に基づく動作制御信号を出力する主制御部と、動作制御信号に従って入力操作内容を反映した映像信号を生成し、映像表示器に出力する映像生成部と、を含み、波長選択反射部材は、実像が撮像器の視野角に入る位置に配置される。

Description

空中映像表示システム、波長選択結像装置、映像表示装置、及び空中映像表示方法

　本発明は、映像を空中に結像させて表示する装置及び方法に関する。

　特許文献１には、「発光性を有する画像Ａを表示する表示器と、前記表示器の画像Ａを入力し前記画像Ａと少なくとも要部が同一の画像Ｂを一空間に結像する結像部材と、前記画像Ｂが表示される前記一空間に配置された光学式の位置入力手段とを有する（要約抜粋）」との記載がある。

国際公開第２０１４／０３８３０３号

　特許文献１に記載の装置は、空中映像の周囲に光学式の位置入力手段を形成する枠が設置される。そのためユーザは枠の中に空中映像を視認することとなり、空中映像が有する浮遊感が損なわれるという課題が残る。

　本発明は上記課題に鑑みてなされたものであり、空中映像の浮遊感を損ねることなく、自然な操作感で空中映像への入力操作が可能な技術を提供することを目的とする。

　上記課題は、例えば請求項の範囲に記載の発明により解決される。その一例をあげるならば、空中映像表示システムは、取得した映像信号に基づく映像を画面に表示する映像表示器を備えた映像表示装置と、前記画面に表示された映像を含む映像光を空中で実像に結像させる結像部材と、前記結像部材における前記映像光の入射面側に配置され、可視光は透過しかつ非可視光は反射する特性を有する波長選択反射部材と、前記実像に対して入力操作を行う被検出体が反射した前記非可視光を受光し、非可視光像からなる被検出体像を撮像する撮像器と、を備え、前記映像表示装置は、前記撮像器から前記被検出体像を取得し、当該被検出体像を解析して前記被検出体の入力操作内容を解析する入力操作判定部と、前記入力操作判定部が解析した前記入力操作内容に基づく動作制御信号を出力する主制御部と、前記動作制御信号に従って前記入力操作内容を反映した映像信号を生成し、前記映像表示器に出力する映像生成部と、を含み、前記波長選択反射部材は、前記実像が前記撮像器の視野角に入る位置に配置される、ことを特徴とする。

　本発明によれば、空中映像の浮遊感を損ねることなく、自然な操作感で空中映像への入力操作が可能な技術を提供することができる。なお、上述した以外の目的、構成、効果は以下の実施形態において明らかにされる。

空中映像表示システムの側面から見た部品配置を示す図映像光の光路を示す図第１実施形態に係る映像表示装置及び波長選択結像装置の構成を示すブロック図波長選択反射部材の光学特性を示す図空中映像表示システムの動作を表すフロー図第２実施形態における空中映像表示システムの側面から見た部品配置を示す図第３実施形態における空中映像表示システムの側面から見た部品配置を示す図第４実施形態における空中映像表示システムのブロック図空中映像表示システムの側面から見た部品配置を示す図基準となる焦点距離の場合の焦点距離と結像距離の関係を示す模式図焦点距離が変化した場合の焦点距離と結像距離の関係を示す模式図駆動制御器で生成する駆動信号と映像信号の関係を示す模式図駆動制御器で生成する駆動信号と映像信号の関係を示す模式図空中映像表示システムにおいて空中映像を立体的に表示するための動作を表すフロー図

＜第１実施形態＞
　本発明における第１実施形態について説明する。図１は第１実施形態に係る空中映像表示システムの側面から見た部品配置を示す図である。

　図１に示す空中映像表示システムは、空中映像を表示すると共にその空中映像に対して入力操作を行う操作体を検出する映像表示装置２００と、映像光（可視光）は透過させて結像させ、操作体が反射した検出光（非可視光）は結像させることなく反射する波長選択結像装置２１０と、映像表示装置２００及び波長選択結像装置２１０を保持するホルダー３００とを含む。上記操作体とは入力操作を行うものであり、例えばユーザの指や手、ユーザが把持したポインタ等、その種類は問わない。映像表示装置２００は操作体を撮像した像を解析し、操作体が示す操作内容を検出して操作内容に応じた映像を表示させたり、映像表示装置２００の動作を終了させたりする。操作体は映像表示装置２００から見ると検出対象物となるので、以下では被検出体という。

　ホルダー３００は、映像表示装置２００を収容する第１収容部３０１と、波長選択結像装置２１０を収容する第２収容部３０２とを備える。

　近年、タブレット端末や携帯電話は普及率が拡大し、低価格化が進んでいる。これらの情報端末では、ユーザを撮影するために本体のディスプレイと同一面側にカメラを内蔵することが一般的になってきているため、映像表示装置２００をこれらの情報端末で構成することにより低価格な空中映像表示システムを構成することができる。この場合、波長選択結像装置２１０と、ユーザが保有する情報端末をホルダー３００に設置することで、本実施形態に係る空中映像表示システムを構成することができる。

　映像表示装置２００は、筐体の一表面に液晶パネルの映像表示器２０４と、被検出体像を撮像するために用いる波長の光を照射する光照射器２０５と、可視光カメラからなる撮像器２０６とを備える。つまり、光照射器２０５と撮像器２０６は映像表示装置２００の映像表示器２０４と同一面内に配置される。

　波長選択結像装置２１０は、映像表示器２０４から照射された映像光を空中映像に結像させる結像部材２１１と、波長選択結像装置２１０において映像表示装置２００に対向する面に設置され、可視光は透過し、非可視光は選択的に反射する波長選択反射部材２１２とを含む。すなわち、波長選択反射部材２１２は空中映像の表示には用いない波長の光を選択的に反射する部材である。

　図２は映像光の光路を示す図である。図２を用いて空中に映像が結像する原理を説明する。

　映像表示装置２００の映像表示器２０４は波長選択結像装置２１０とほぼ平行に配置される。波長選択結像装置２１０は、ミラー１０２と、ミラー１０２上に配置されたフレネルレンズ１０１と、フレネルレンズ１０１上に配置された波長選択反射部材２１２を含んで構成される。ミラー１０２とフレネルレンズ１０１とは結像部材２１１の一例であり、本実施形態では薄型化のためにフレネルレンズを用いた構成例を示したが、通常のレンズを用いても構わない。

　映像表示器２０４の画面に映像が表示されると画面からは映像光が発光される。映像光は波長選択反射部材２１２を透過し、フレネルレンズ１０１で屈折し、ミラー１０２で反射する。反射した映像光は、再度、フレネルレンズ１０１で屈折し、波長選択反射部材２１２を透過し、空中に実像１０３として結像する。ユーザは実像１０３を見ることにより、空中映像として認識する。

　図１に戻り、実像に対して操作入力を行う被検出体像を撮像する原理を説明する。

　光照射器２０５から出射した赤外光は、波長選択反射部材２１２により反射され実像１０３の近傍を照らす。

　実像１０３に対するユーザの手指等による入力操作があった場合には、手指等で拡散した赤外光の一部が再度波長選択反射部材２１２で反射されて撮像器２０６に入射し、被検出体像が撮像される。仮に波長選択反射部材２１２が無い場合には、被検出体像がフレネルレンズ１０１で結像してしまうため、撮像器２０６で被検出体像として撮像することが難しい。

　波長選択反射部材２１２はミラー１０２の反射面に対して平行に配置すると波長選択結像装置２１０を薄型で構成できる。ただし、映像表示装置２００とミラー１０２の入射面とを平行ではない配置にし、被検出体像が撮像器２０６の視野角に入らなくなる場合には、ミラー１０２と波長選択反射部材２１２に角度をつけて配置し、入力画像が適切に撮像器２０６で撮像できるようにしてもよい。

　上記映像表示装置２００として、汎用の携帯端末装置、例えばスマートフォンやタブレット端末を用いる場合、撮像器２０６としてインナーカメラを用いてもよい。汎用の携帯端末装置には赤外線カットフィルタが内蔵されているものもあるが、赤外線カットフィルタにより赤外線が減衰することはあっても、完全に赤外線が遮蔽されない限り、赤外線カットフィルタを透過した赤外線を検出して被検出体像を撮像することができる。

　また、携帯端末装置に赤外線撮像モードと可視光撮像モードとがある場合には、赤外線撮像モードを用いて被検出体像を撮像してもよい。

　更に、本実施形態では映像表示装置２００に光照射器２０５を備えたが、外光に含まれる赤外光を用いて被検出体像を撮像する場合、即ち外光に含まれる赤外光のうち、被検出体像が反射した赤外光を撮像器２０６で撮像する場合には、映像表示装置２００は光照射器２０５を備えなくてもよい。

　図３は、第１実施形態に係る映像表示装置及び波長選択結像装置の構成を示すブロック図である。

　映像表示装置２００は、制御器２０９、電源２０２、映像表示器２０４、光照射器２０５、及び撮像器２０６を含む。制御器２０９は、主制御部２０１、映像生成部２０３、及び入力操作判定部２０７を含む。

　映像表示装置２００は主制御部２０１により映像生成部２０３に動作制御信号を送る。映像生成部２０３により生成した映像情報は映像表示器２０４の画面に映像として表示される。映像表示器２０４の画面から可視光が発光される。この可視光には画面に表示されている映像を含まれる。よって、以下では画面から発行する可視光を映像光と称する。映像光は波長選択結像装置２１０の結像部材２１１によって空中に結像する。これにより、ユーザは映像表示器２０４に表示された映像を、空中映像として視認する。

　映像表示と同時に、映像表示装置２００は主制御部２０１により、手指等による操作を撮像するために光照射器２０５を駆動し、光照射する。この光はユーザの映像認識を妨げないためにユーザが視認できない波長の光であることが望ましく、ここでは一例として赤外光であるとして説明する。

　光照射器２０５から照射された赤外光は、波長選択結像装置２１０の波長選択反射部材２１２によって反射し、映像の結像位置にある被検出体、例えば手指照射する。手指で拡散した赤外光の一部は再度、波長選択反射部材２１２で反射され、映像表示装置２００の撮像器２０６によって撮像される。

　映像表示装置２００は撮像器２０６で赤外光を受光して撮像した手指の赤外光による被検出体像を入力操作判定部２０７により解析し、結像位置に表示した映像のどの位置を手指が指し示しているかを示す座標情報等に変換する。この座標情報は、空中映像に対する相対座標で表されてもよい。例えば、入力操作の開始時に座標取得用の既知の映像、例えば点を示す空中映像を表示させ、映像表示装置２００からユーザに対して空中映像にタッチをするよう促す。ここで、座標取得用の既知の映像は、映像表示器２０４の表示面のどの座標に表示されているかが主制御部２０１からは分かるので、表示面上の座標をＰ（ｘ，ｙ）とする。この既知の映像をタッチした手指の赤外線像からなる被検出体像を撮像し、その座標をＰ’（ｓ，ｔ）とすると、下式（１）により、被検出体像の座標系を映像表示器の画面座標系に変換するための変換式が得られる。

　上記において、キャリブレーション用の点を３点以上ユーザに指し示すことにより、被検出体像の２次元座標系を、２次元画面座標系に変換する変換行列を求めることができる。

　入力操作判定部２０７は、上記式（１）の演算を行い、撮像器２０６が撮像した被検出体像が指示した座標を映像表示器２０４上の画面座標系に変換する。そして、被検出体が、空中映像に対して行った入力操作の指示内容を解析する。

　映像表示装置２００は入力操作判定部２０７で解析した情報を主制御部２０１に送り、主制御部２０１により直前に表示した映像とそれに対してユーザが操作した情報を基に、次に表示する映像情報を判定し、映像生成部２０３に指示を送る。以降は、終了指示があるまで、同様の動作を繰り返す。

　入力操作の一例として、例えば、動画を表示させるためのメニュー画面を映像生成部２０３が生成し、映像表示器２０４から映像光として照射し、メニュー画面を空中映像表示したとする。メニュー画面には再生ボタンが含まれているものとする。入力操作判定部２０７は、映像表示器２０４からメニュー画面の画面座標系の座標を予め取得しておく。ユーザが空中映像表示されたメニュー画面の再生ボタンに触れる操作をすると、撮像器２０６が再生ボタンに触れた手指の赤外光像を撮像する。入力操作判定部２０７は、上記式（１）により赤外光像が示す手指の座標を求め、その手指が再生ボタンに触れる操作であることと解析し、その解析結果を主制御部２０１へ出力する。主制御部２０１は、解析結果が示す操作、即ち動画を再生させた映像を生成させるための動作制御信号を映像生成部２０３に出力する。映像生成部２０３は、再生動画を示す映像を生成し、映像表示器２０４から再生動画を示す映像光が射出され、再生動画が空中映像表示される。

　映像表示装置２００に含まれる各構成要素は、いずれも映像表示装置２００内の電源２０２によって電源が供給される。

　上記の説明では映像表示装置２００と波長選択結像装置２１０を別々の構成として説明したが、これらを一体の構成として映像表示装置２００が固定された空中映像表示システムとして、配置の安定性を高めてもよい。

　また、映像表示装置２００を映像表示器２０４と撮像器２０６とに分けた構成としてもよい。

　また、上記説明では入力操作をするユーザの手指を精度良く認識するために光照射器２０５を用いた構成で説明したが、光照射器２０５は必ずしも必要な構成ではなく、外部の環境光に含まれる光を用いても構わないし、映像表示器に含まれる波長の一部を用いて照射しても構わない。

　また、映像は内部で生成しても良いし、外部から有線もしくは無線で供給しても構わない。

　図４は波長選択反射部材２１２の光学特性を示す図である。図４のグラフの横軸は波長であり、実線で反射率を表す。グラフ中の青、緑、赤、赤外線に対応する位置に点線で描かれている分布は映像表示器２０４及び光照射器２０５から出力されている波長の強度分布を模擬的に表す。映像表示に用いる青、緑、赤に対応する波長に対しては可能な限り小さい反射率とし、透過するようにする。このため、図１及び図２において映像表示器２０４の映像は波長選択反射部材２１２を透過し、結像部材２１１によって実像１０３として結像させることができる。赤色よりも波長が長い赤外光に対しては可能な限り高い反射率とする。このため、図１において赤外光は結像部材２１１を介さないため、被検出体像を取得することができる。

　なお、前述の通り、必ずしも赤外光を反射する特性とする必要は無く、外部の環境光に含まれる光や映像表示器に含まれる波長の一部のみを反射させ、入力操作の認識をする構成としてもよい。

　図５は空中映像表示システムの動作を表すフロー図である。
　Ｓ５０１で主制御部２０１は、入力操作判定部２０７等、映像表示装置２００の各処理部、処理器を初期化する。

　Ｓ５０２で主制御部２０１は、映像生成部２０３に映像を生成させ、映像表示器２０４の画面に映像を表示させる。これにより映像光が照射される。

　Ｓ５０３で主制御部２０１は、光照射器２０５に赤外光を照射させる。なお、外光を使う場合には、本ステップ及び後述するステップＳ５０５は省略してもよい。

　Ｓ５０４で主制御部２０１は、撮像器２０６に被検出体像を撮像させる。

　Ｓ５０５で主制御部２０１は、光照射器２０５に赤外光照射を停止させる。

　撮像した被検体像には、青、緑、赤の波長を有する被検体像以外の画像が赤外光の被検体像に重畳されている。そこで、Ｓ５０６で入力操作判定部２０７は、撮像した被検体像から被検体像に対応する赤外光成分のみを抽出することで入力操作の判定精度を上げてもよい。

　また、撮像した画像には撮像器２０６と波長選択反射部材２１２の配置により、特定の範囲に入力操作の画像が映っている。そこで入力操作判定部２０７は、撮像した画像の内、鏡面反射した部分を特定し、特定箇所のみを抽出して処理を軽くしても良い。

　また、入力操作判定部２０７は入力操作の画像が映っている範囲を撮像器２０６の光学ズームの機能を用いて拡大して撮像することにより入力操作の判定精度を上げても良い。

　Ｓ５０７で入力操作判定部２０７は被検出体像の座標を演算したり、被検出体像の動き（座標の変化に相当する）を解析することにより、被検出体像を基にユーザが行った入力操作の内容を判定し、その入力操作の内容を示す情報を主制御部２０１へ出力する。

　Ｓ５０８で映像表示器２０４により表示している映像と入力操作判定部２０７により認識した入力操作の情報から、主制御部２０１は終了操作か判定する。終了操作と判定した場合は（Ｓ５０８／Ｙｅｓ）、主制御部２０１は映像表示を止めて終了する。

　主制御部２０１が終了操作と判定しない場合は（Ｓ５０８／Ｎｏ）、Ｓ５０９において映像生成部２０３に次に表示する映像を生成させ、Ｓ５０２で映像表示器２０４に映像を表示させる。

　図５では被検出体像を撮像するたびに赤外光の照射を停止する動作を示したが、赤外光の連続照射による電力消費が十分に小さい場合には、初期化の段階で赤外光を照射し、終了操作となった場合に赤外光の照射を停止する動作としても構わない。

　また、画像表示と被検出体像の撮像とを交互に実施する動作を示したが、必ずしも交互に実施する必要は無く、複数回の画像表示を繰り返した後に１回の被検出体像の撮像をしても良いし、逆に１回の画像表示の度に複数回の被検出体像の撮像をしても良い。

　以上、本実施形態によれば、被検出体で反射した非可視光像からなる被検出体像を撮像し、これを解析して被検出体が行った入力操作を解析して次の処理、例えば空中映像の表示変更や終了操作を行えるので、空中映像に対して行った入力操作を検出するための部材を空中映像の周囲に配置させる必要がない。そのため、入力操作を検出するための部材が空中映像の視認を妨げることがなく、空中映像の浮遊感を際立たせることができる。

＜第２実施形態＞
　図６は第２実施形態における空中映像表示システムの側面から見た部品配置を示す図である。

　第２実施形態では、結像部材２１１として二面直交リフレクタ６０１を用いる。二面直交リフレクタ６０１はミラー６０１ｂと、ミラー６０１ｂの反射面に対して直交する反射面を有するハーフミラー６０１ａと、を備えており、ある点から拡散して二面直交リフレクタ６０１に入射した光は２回反射して、二面直交リフレクタ６０１と面対称の位置に結像する。

　ここで、ミラー６０１ｂの反射面上に波長選択反射部材２１２を配置することにより、光照射器２０５から出射した赤外光は波長選択反射部材２１２で反射して実像付近のユーザの手指等を照らし、また、手指等で拡散した赤外光の一部を波長選択反射部材２１２で反射して撮像器２０６で撮像することができる。この際、二面直交リフレクタ６０１のミラー６０１ｂで反射せずにハーフミラー６０１ａを透過する赤外光を用いても良いし、二面直交リフレクタ６０１を赤外光に対しては反射せずに透過する素材を用いて構成してもよい。

　また、波長選択反射部材２１２は赤外光のみを反射するようにしても良いし、可視光も赤外光も反射する通常のミラーとしても構わない。赤外光のみを反射する場合は、目視では透明に見える効果が得られ、赤外光も可視光も反射する場合には、二面直交リフレクタ６０１により結像する実像の視野角を大きくする効果が得られる。

　第１実施形態と同様に、波長選択反射部材２１２は入力画像が適切に撮像器２０６で撮像できるように二面直交リフレクタ６０１のミラー６０１ｂの入射面に対して傾斜して配置してもよい。

　以上の構成を用いて第１実施形態と同様の制御をすることにより、空中映像を表示し、空中映像に対する入力操作を実現することができる。また二面直交リフレクタは、ホルダーがなく自立して設置できるのでホルダーの第１収容部の大きさに制約されることなく、映像表示装置の種類を変えることができる。例えば、スマートフォンのような比較的小型な装置であっても、またタブレット端末のような比較的大きな装置であっても空中映像表示システムの部品として用いることができる。

＜第３実施形態＞
　図７は第３実施形態における空中映像表示システムの側面から見た部品配置を示す図である。

　第３実施形態では結像部材２１１としてハーフミラー７０１と再帰性反射シート７０２を用いる。再帰性反射シート７０２は微小なコーナーキューブやガラスビーズが表面に敷き詰められており、シートに入射した光を入射とは逆方向に再帰反射することができる。映像表示器２０４に表示された映像はハーフミラー７０１で光量の半分が反射し波長選択反射部材２１２を透過し、再帰性反射シート７０２で再帰反射し、再度、波長選択反射部材２１２を透過し、ハーフミラー７０１で光量の半分が透過し、ハーフミラー７０１と面対称の位置に結像する。

　ここで、再帰性反射シート７０２の入射面側に再帰性反射シート７０２とほぼ平行に波長選択反射部材２１２を配置することにより、光照射器２０５から出射した赤外光は波長選択反射部材２１２で反射して実像付近のユーザの手指等を照らし、また、手指等で拡散した赤外光の一部を波長選択反射部材２１２で反射して撮像器２０６で撮像することができる。

　第１実施形態と同様に、波長選択反射部材２１２は入力画像が適切に撮像器２０６で撮像できるように再帰性反射シート７０２の上面に対して傾斜させて配置してもよい。

　以上の構成を用いて第１実施形態同様の制御をすることにより、空中映像を表示し、空中映像に対する入力操作を実現することができる。

＜第４実施形態＞
　図８は第４実施形態における空中映像表示システムのブロック図であり、第１実施形態の図３と共通のブロックについては説明を省略する。第１実施形態では空中映像は平面像であるが、第４実施形態では後述するように空中映像の結像位置を変え、結像位置に応じて映像を変えることで空中映像を立体的に表示する。

　第４実施形態に係る映像表示装置２００ａは、第１実施形態に係る映像表示装置２００に駆動制御器８０１を更に含むものである。第４実施形態に係る波長選択結像装置２１０ａは、第１実施形態に係る波長選択結像装置２１０に焦点距離可変装置８０２を更に含むものである。

　主制御部２０１は駆動制御器８０１に空中映像を結像させる位置の情報を送る。駆動制御器８０１は結像させる位置の情報から駆動波形を生成し、波長選択結像装置２１０の焦点距離可変装置８０２を駆動する。例として焦点距離可変装置８０２が電圧に応じて焦点距離が変わる部品で構成されていれば、駆動制御器８０１は所望の焦点距離となるような電圧波形を生成する。焦点距離可変装置８０２は駆動波形と映像表示装置２００の電源２０２から受け取った電力により焦点距離を変更する。

　主制御部２０１は映像生成部２０３に動作制御信号を送る際に空中映像を結像させる位置の情報も送り、映像生成部２０３が結像させる位置に応じた映像を生成することで、立体的な空中映像を表示する。

　なお、波長選択結像装置２１０内に電源を備え、焦点距離可変装置８０２を駆動してもよい。また、駆動制御器８０１と焦点距離可変装置８０２は制御線で接続して情報を送っても良いし、映像表示装置２００と波長選択結像装置２１０にそれぞれ無線伝送装置を備えて情報を送ってもよい。

　また、波長選択結像装置２１０に駆動制御器８０１を備えて、映像表示装置２００の制御とは無関係に周期的な焦点距離の変化動作を繰り返し、例えば焦点距離に応じたマーカーを表示し、撮像器２０６によりこのマーカーを撮像することで映像表示装置２００が波長選択結像装置２１０と自動的に同期を取って映像を表示するように制御をしてもよい。

　また、上記の説明では映像表示装置２００と波長選択結像装置２１０を別々の構成として説明したが、第１実施形態と同様にこれらを一体の構成としてもよいし、映像表示装置２００ａを映像表示器２０４と撮像器２０６に分けて構成しても構わない。

　図９は第４実施形態に係る空中映像表示システムの側面から見た部品配置を示す図であり、図９を用いて空中に映像が結像する原理を説明する。

　図９と図１に示した第１実施形態の構成との違いは、波長選択反射部材２１２とフレネルレンズ１０１との間に焦点距離可変装置８０２を配置している点である。

　またホルダー３００ａの第１収容部３０１の底部には映像表示装置２００ａと電気的に接続する第１接点３１１を備える。同様に、第２収容部３０２の底部には波長選択結像装置２１０ａと電気的に接続する第２接点３１２備える。第１接点３１１及び第２接点３１２とは、制御線３１３及び電力線３１４のそれぞれにより電気的に接続される。そして映像表示装置２００ａから出力された駆動信号は、制御線３１３を通って焦点距離可変装置８０２に出力される。また映像表示装置２００ａから焦点距離可変装置８０２に対して電力線３１４を介して給電される。

　焦点距離可変装置８０２の一例として、フレネルレンズと二周波液晶とこれらをはさむ２枚の透明電極とを含む構成としてもよい。そして、印加電圧の周波数に基づいて焦点距離を変化させてもよい。（例えば陶山史朗、”高速な二周波液晶レンズによる３次元表示方式”光学３０巻１号（２００１）参照）

　映像表示器２０４によって表示された映像はフレネルレンズ１０１の屈折に加えて焦点距離可変装置８０２の屈折の作用を受けるため、結像する位置が変化する。図９では例として実像９０２ａ、９０２ｂ、９０２ｂ、９０２ｄの４段階で結像位置が変化している例を示している。結像する位置に応じて映像表示を変化させることによりユーザは、立体的な空中映像として認識する。

　なお、図９では結像部材２１１の一例としてフレネルレンズ１０１及びミラー１０２を含む構成を示したが、第２実施形態のように二面直交リフレクタ６０１（図６参照）や、第３実施形態のようにハーフミラー７０１と再帰性反射シート７０２（図７参照）で構成することも可能である。いずれの場合でも空中映像として表示する波長に対しては焦点距離可変装置８０２を作用させ、入力操作の認識のための赤外光に対しては焦点距離可変装置８０２を作用させないように、光学部品を配置、又は波長選択性を持たせる。

　なお、入力操作の認識をせず、単に立体的な空中映像を表示する目的であれば、波長選択反射部材２１２、光照射器２０５、撮像器２０６は不要である。また、この場合、結像部材２１１としてフレネルレンズ１０１のみを用い、フレネルレンズ１０１の反対側に実像を結像させる構成も可能である。

　図１０は焦点距離と結像距離の関係を示す模式図であり、図１０Ａは基準となる焦点距離の場合、図１０Ｂは焦点距離が変化した場合を示す。図１０Ａにおいて、ｆ_０は基準の焦点距離、ｘ_０はレンズの映像側の焦点位置と映像表示器２０４により表示されている映像の位置との距離、ｙは映像の光軸からの高さ、ｘ_０’はレンズの実像側の焦点位置と実像の位置との距離、ｙ’は実像の光軸からの高さを表す。図１０Ｂにおいて、ｆ_１は可変した焦点距離、ｘ_１はレンズの映像側の焦点位置と映像表示器２０４により表示されている映像の位置との距離、ｘ_１’はレンズの実像側の焦点位置と実像の位置との距離を表す。映像表示器により表示されている映像と実像の大きさの比率は横倍率ｍ_０として定義され、数式（２）で表される。

　数式（２）におけるｘ_０、ｘ_０’、ｆ_０の関係からニュートンのレンズ公式である数式（３）が導出される。

　同様にして焦点距離を変更した場合の横倍率ｍ_１とニュートンのレンズ公式は数式（４）（５）として導出される。

　ここでレンズと映像表示器２０４により表示されている映像のとの距離は不変であることから、ｘ_０＋ｆ_０＝ｘ_１＋ｆ_１であり、焦点距離の可変量をΔｆとすると、ｆ_１＝ｆ_０＋Δｆと表され、これらを数式（４）（５）に代入することで、それぞれ数式（６）（７）が導出される。

　もとの実像の位置からのずれをΔxとすると、Δｘ＝（ｆ_１＋ｘ_１’）－（ｆ_０＋ｘ_０’）であり、これに数式（３）（７）の関係を代入すると数式（８）が導出される。

　数式（６）から実像の倍率を計算し、数式（８）から実像が結像する位置を計算することによって、所望の立体表示となるように制御することができる。

　一例として、等倍の表示を基準とする場合には、ｘ＝ｆ_０とし、また、焦点距離の可変量をkを係数としてΔｆ＝kｆ_０と表して、これらを数式（６）（７）（８）に代入することで、数式（９）（１０）（１１）が導出される。

　図１１は駆動制御器８０１で生成する駆動信号と映像信号の関係を示す模式図である。図では例として駆動信号に焦点距離と実像位置が比例するものとして表している。

　ここではある時刻の立体映像を４フレームで実像位置を変えて表示するものとし、この４フレーム毎の立体映像を１ユニットフレームと呼ぶこととする。図中の映像信号の番号はユニットフレーム数－実像位置を表すものとする。実像位置を変える範囲を４分割し、それぞれの実像位置の範囲における平均的な実像位置の映像をその実像位置の映像として出力する。４フレームの映像、すなわち１ユニットフレームを出力した後、実像位置を戻し、再度、実像位置を変える動作を繰り返す。

　図１２は駆動制御器８０１で生成する駆動信号と映像信号の関係を示す模式図であり、駆動信号が正弦波の例である。

　一般的に映像信号をフレーム毎に時間を変えるのは難しいため、１フレームの時間を固定すると、表示する実像位置の範囲は等間隔ではなくなる。そこで、それぞれの実像位置の範囲における平均的な実像位置の映像をその実像位置の映像として出力して対応する。また、実像の位置は正から負の方向に変わった後、負から正の方向に反転するため、フレームユニット内における実像位置の出力順序も反転させる。

　図１３は空中映像表示システムにおいて空中映像を立体的に表示するための動作を表すフロー図である。

　Ｓ１２０１で主制御部２０１は映像表示装置２００の各処理部、処理器を初期化する。ここで主制御部２０１は実像位置をｉで表すものとする。

　Ｓ１２０２で映像生成部２０３は実像位置ｉに対応する映像信号を生成する。

　Ｓ１２０３で駆動制御器８０１は焦点距離可変装置８０２を実像位置ｉに対応する焦点距離となるように制御する。

　Ｓ１２０４で映像表示器２０４が映像を表示する。

　Ｓ１２０５で入力操作判定部２０７は入力操作の判定処理を行う。例として第１実施形態で記載した図５のＳ５０３からＳ５０７に対応する処理を行うことで入力操作の認識が可能である。

　Ｓ１２０６で主制御部２０１は実像位置ｉを次の位置に変更する。

　Ｓ１２０７で映像表示器２０４により表示している映像と入力操作判定部２０７により認識した入力操作の情報から、主制御部２０１は終了操作かを判定する。主制御部２０１が終了操作と判定した場合は（Ｓ１２０７／Ｙｅｓ）、映像表示を止めて終了する。

　主制御部２０１は終了操作と判定しない場合は（Ｓ１２０７／Ｎｏ）、Ｓ１２０８で主制御部２０１は実像位置ｉが実像位置の分割数ｎよりも大きいか判定する。大きい場合には（Ｓ１２０８／Ｙｅｓ）、Ｓ１２０９で主制御部２０１は実像位置を初期化してＳ１２０２に戻る。大きくない場合には（Ｓ１２０８／Ｎｏ）、そのままＳ１２０２に戻る。以降は動作を繰り返す。

　なお、入力操作の認識は必ずしも映像信号と同期を取る必要は無く、別の処理としても良いし、フレームよりも速い周期、もしくは数フレーム毎の遅い周期で処理を行っても構わない。

　また、本実施形態では立体的な空中映像となるため、入力操作を３次元で判定することが好ましい。このため、撮像器２０６として３次元計測装置である、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式のカメラ、ステレオカメラ、焦点距離を変えて合焦点位置から距離を判定するカメラ、コンピューテショナルフォトグラフィを利用したカメラ等を適用しても良いし、通常のカメラで撮像した情報であっても基準となる手指の大きさからの拡大縮小率の違いから遠近を判定してもよい。

　以上、本実施形態によれば、立体的な空中映像表示システムにおいても、空中映像の浮遊感を損ねることなく、自然な操作感で空中映像への入力操作が可能な技術を提供することができる。

　上記各実施形態は、本発明を限定するものではなく、本発明の趣旨を逸脱しない様々な変更態様は本発明の技術的範囲に含まれるものである。例えば、第４実施形態において映像表示装置からホルダー内の制御線を経由して波長選択結像装置に焦点距離を可変する駆動信号を出力したが、ホルダーの有無にかかわらず、駆動信号を無線通信により波長選択結像装置に送信してもよい。

　また上記実施形態に係る波長選択結像装置では、波長選択反射部材が結像部材における入射面上に一体形成された例について説明したが、結像部材と波長選択反射部材とは別体に構成されてもよい。例えば一体形成する場合は波長選択反射部材をフィルム状に形成し、それを結像部材における映像光の入射面に貼付してもよい。また別体に形成する場合は波長選択反射部材を板状に形成し、それを空中映像の表示時にユーザが結像部材における映像光の入射面側に設置してもよい。

２００：映像表示装置、２００ａ：映像表示装置、２１０：波長選択結像装置、２１０ａ：波長選択結像装置、２１１：波長選択反射部材、２１２：結像部材、８０１：駆動制御器、８０２：焦点距離可変装置

Claims

　取得した映像信号に基づく映像を画面に表示する映像表示器を備えた映像表示装置と、
　前記画面に表示された映像を含む映像光を空中で実像に結像させる結像部材と、
　前記結像部材における前記映像光の入射面側に配置され、可視光は透過しかつ非可視光は反射する特性を有する波長選択反射部材と、
　前記実像に対して入力操作を行う被検出体が反射した前記非可視光を受光し、非可視光像からなる被検出体像を撮像する撮像器と、を備え、
　前記映像表示装置は、
　前記撮像器から前記被検出体像を取得し、当該被検出体像を解析して前記被検出体の入力操作内容を解析する入力操作判定部と、
　前記入力操作判定部が解析した前記入力操作内容に基づく動作制御信号を出力する主制御部と、
　前記動作制御信号に従って前記入力操作内容を反映した映像信号を生成し、前記映像表示器に出力する映像生成部と、を含み、
　前記波長選択反射部材は、前記実像が前記撮像器の視野角に入る位置に配置される、
　ことを特徴とする空中映像表示システム。
　取得した映像信号に基づく映像を画面に表示する映像表示器を備えた映像表示装置と、
　前記画面に表示された映像を含む映像光を空中で実像に結像させる結像部材と、
　前記結像部材における前記映像光の入射面側に配置され、可視光は透過しかつ非可視光は反射する特性を有する波長選択反射部材と、
　前記実像に対して入力操作を行う被検出体が反射した非可視光を受光し、非可視光像からなる被検体像を撮像する撮像器と、を備え、
　前記被検出体が反射した前記非可視光は、前記結像部材により結像されることなく前記撮像器に入射する、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記映像表示装置は、前記非可視光を照射する光照射器を更に備え、
　前記波長選択反射部材は、前記光照射器が照射した前記非可視光を反射する、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記波長選択反射部材が前記結像部材における入射面上に一体形成された波長選択結像装置を含む、
　ことを特徴とする空中映像表示システム。
　請求項４に記載の空中映像表示システムにおいて、
　前記映像表示装置を収容する第１収容部、及び前記第１収容部に収容された前記映像表示装置の画面に前記波長選択反射部材を対向させて前記波長選択結像装置を収容する第２収容部を含むホルダーを更に備える、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記結像部材はミラー及び当該ミラーの反射面上に配置されたフレネルレンズを含んで構成される、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記結像部材は、ミラー及び当該ミラーの反射面に直交する透過面を有するハーフミラーを含む二面直交リフレクタを用いて構成され、
　前記波長選択反射部材は、前記ミラーの反射面上に配置される、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記結像部材は再帰性反射シート及び再帰性反射シートで反射された前記映像光を透過するハーフミラーを用いて構成され、
　前記波長選択反射部材は、前記再帰性反射シートにおける前記映像光の入射面上に配置される、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記映像が結像する光路中に配置され、焦点距離の変更させる焦点距離可変装置を更に備え、
　前記画面に表示される映像は、焦点距離に応じて変化する、
　ことを特徴とする空中映像表示システム。
　請求項９に記載の空中映像表示システムにおいて、
　ｆ_０を基準の焦点距離、
　Δｆを焦点距離の変更量、
　ｘ_０はレンズの映像側の基準の焦点位置と前記映像表示器により表示されている映像の位置との距離、
　Δx’を基準の焦点距離の実像の位置からのずれ、
として、
下式を満たすように前記焦点距離可変装置及び前記映像表示器が制御される、
　ことを特徴とする空中映像表示システム。
　請求項１又は２に記載の空中映像表示システムにおいて、
　前記撮像器は前記映像表示装置と一体に形成される、
　ことを特徴とする空中映像表示システム。
　映像光を空中で実像に結像させる結像部材、及び前記結像部材における前記映像光の入射面側に配置され、前記結像部材に入射する前記映像光は透過しかつ前記結像部材に入射する非可視光は反射する特性を有する波長選択反射部材を備える、
　ことを特徴とする波長選択結像装置。
　取得した映像信号に基づく映像を画面に表示する映像表示器を備えた映像表示装置と、
　前記画面に表示された映像を含む映像光を空中で実像に結像させる結像部材と、
　前記結像部材における前記映像光の入射面側に配置され、可視光は透過しかつ非可視光は反射する特性を有する波長選択反射部材と、
　前記実像に対して入力操作を行う被検出体が反射した前記非可視光を受光し、非可視光像からなる被検出体像を撮像する撮像器と、を備える空中映像表示システムに用いられる映像表示装置であって、
　前記撮像器から前記被検出体像を取得し、当該被検出体像を解析して前記被検出体の入力操作内容を解析する入力操作判定部と、
　前記入力操作判定部が解析した前記入力操作内容に基づく動作制御信号を出力する主制御部と、
　前記動作制御信号に従って前記入力操作内容を反映した映像信号を生成し、前記映像表示器に出力する映像生成部と、を含む、
　ことを特徴とする映像表示装置。
　画面に表示された映像を含む映像光を空中で結像させた実像からなる空中映像を表示するステップと、
　前記空中映像に対して入力操作を行う被検出体により反射された、前記空中映像の表示には用いない波長の光のうち、前記映像光は透過し前記空中映像の表示には用いない波長の光を選択的に反射する波長選択反射部材により反射された光を撮像し、前記被検出体の非可視光像を出力するステップと、
　前記非可視光像を基に前記被検出体が行った入力操作の内容を判定するステップと、
　を含むことを特徴とする空中映像表示方法。
　請求項１４に記載の空中映像表示方法において、
　前記波長選択反射部材により選択的に反射される光の波長を含んだ光を照射するステップを更に含む、
　を含むことを特徴とする空中映像表示方法。
　請求項１４に記載の空中映像表示方法において、
　前記空中映像を表示するステップは、
　前記空中映像を結像する焦点距離を変更することにより前記実像の位置を変更するステップと、
　前記画面に表示される映像を、前記変更された実像の位置に応じた映像に変更するステップと、を含む、
　ことを特徴とする空中映像表示方法。