JP5696908B2 - 操作表示システム - Google Patents

Description

本発明は、操作画面の画像を現実空間に合成した拡張現実空間を表示する操作表示システムに関する。

コンピュータなどで作成した画像を拡張現実情報（ＡＲ(Augmented Reality)情報）として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置などに表示する技術が種々提案されている。

たとえば、コンピュータが作成したキーボードの画像をＡＲ情報として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置に表示し、ユーザが、その表示された仮想のキーボードに手を伸ばして操作することを可能にした技術がある（たとえば、特許文献１、２参照）。

また、複数のユーザが、それぞれヘッドマウントディスプレイ装置を装着している場合に、近隣にある他のヘッドマウントディスプレイ装置と情報を相互に送受信することで、たとえば、共同作業を行う際に他のメンバーとＡＲ情報を共有しながら情報閲覧を行うことを可能にするシステムがある（特許文献３参照）。

特開平０７−０７８０５５号公報 特開２００９−１４６３３３号公報 特開２０１０−２１７７１９号公報

比較的大きな表示部を備えた操作表示装置（会議システムの大型パネルやタブレット型コンピュータ、複合機の大型の操作パネルなど）を会議などにおいて複数のメンバーで共用する場合に、皆で見ている画面に対して、個人的に別途の操作を行いたい場合がある。たとえば、他の画面に遷移してその内容を確認したい場合や、特定の機能を個人的に設定したい場合などがある。

しかし、皆で見て共用している操作表示装置に対して個人的な操作を行うと、他のメンバーに迷惑を与えてしまう。一方、会議などにおいて各メンバーに個別の操作表示装置を渡して使用させれば、各メンバーはそれぞれ個人的な操作を思いのままに行えるが、メンバー全員で情報を共有することは難しくなる。したがって、皆で閲覧して使用する操作表示装置の表示状態を維持しつつ、これとは別に個人的な操作や表示を可能にする技術が望まれる。

特許文献３に開示のヘッドマウントディスプレイ装置は、共同作業を行う際に他のメンバーと情報を共有しながら情報閲覧を行うことを可能にするが、全員が同じ内容を閲覧するものであり、他のメンバーに影響を与えずに、個人的に別の操作を可能にするものではない。また、特許文献１、２に開示の技術は、単に、拡張現実空間に表示した仮想のキーボードを空中で操作可能にする技術に過ぎない。

本発明は、上記の問題を解決しようとするものであり、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を可能にする操作表示システムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］操作画面を表示する複数人で閲覧可能な表示部と、前記表示部に表示された操作画面に対する操作を受ける操作部と、前記操作部で受けた操作に従って前記表示部に表示される操作画面を変更する表示制御部とを備えた操作表示装置と、
前記表示部に表示されている操作画面に対して前記表示部から離れた空中で一のユーザが行った操作である空中操作を検出する空中操作検出部と、
前記空中操作検出部によって検出された前記空中操作に従って前記操作画面の内容を変更した仮想操作画面を作成する仮想操作画面作成部と、
現実空間に前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せるＡＲ表示部と、
を有し、
前記表示制御部は、前記表示部に表示中の操作画面を前記空中操作に基づいて変更しない
ことを特徴とする操作表示システム。

上記発明では、操作表示装置に表示されている操作画面に対してその表示部から離れた空中で一のユーザが行った空中操作を検出すると、現在表示中の操作画面の内容を該空中操作に従って変更した仮想操作画面が作成され、この仮想操作画面の画像を現実空間に合成した拡張現実空間が、先の空中操作を行ったユーザに見えるように、ＡＲ表示部に表示される。一方、空中操作を受けても操作表示装置に表示中の操作画面は変更されない。これにより、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ、ＡＲ表示部を見ているユーザは操作表示装置に表示されている操作画面に対して個人的な操作を行って操作後の操作画面を確認することができる。

［２］前記ＡＲ表示部は、現実空間内の前記表示部の位置に重なるように前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せる
ことを特徴とする［１］に記載の操作表示システム。

上記発明では、ＡＲ表示部を見ているユーザは、現実空間内の操作表示装置に表示されている操作画面が空中操作に従って変更されたかのように視認することができる。

［３］前記ＡＲ表示部は、前記操作部で受けた操作によって設定された項目と前記空中操作によって設定された項目とを、前記仮想操作画面において異なる表示態様で識別可能に表示する
ことを特徴とする［１］または［２］に記載の操作表示システム。

上記発明では、仮想操作画面において、操作表示装置の操作部で受けた操作によって設定された項目と、空中操作によって設定された項目とが識別可能に表示される。たとえば、操作表示装置の操作部で受けた操作によって設定された項目と、空中操作によって設定された項目とは、色や形、書体などの相違によって識別可能に表示される。

［４］前記ＡＲ表示部は、前記一のユーザが頭部に装着する眼鏡型のヘッドマウントディスプレイである
ことを特徴とする［１］乃至［３］のいずれか１つに記載の操作表示システム。

［５］前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
前記ＡＲ表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、該検出した手指の画像を前記仮想操作画面の画像の手前に合成する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作表示システム。

上記発明では、仮想操作画面の画像の背後に隠れてしまう手指の画像が、仮想操作画面の手前に合成されて表示される。

［６］前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
前記ＡＲ表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、前記仮想操作画面の画像のうち前記検出した手指を隠している部分を消去する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作表示システム。

上記発明では、仮想操作画面の画像の背後に手指が隠れて見えなくならないように、仮想操作画面の画像のうち背後に手指が存在する部分は消去される。ＡＲ表示部を見るユーザは、仮想操作画面が消去された部分を通して手指を見ることができる。

［７］前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
前記空中操作検出部は、前記カメラが撮影している画像を解析して前記空中操作を検出する
ことを特徴とする［１］乃至［６］のいずれか１つに記載の操作表示システム。

［８］前記空中操作は、空中でのフリック操作、空中でのタッチ操作、空中でのジェスチャー操作のうちの少なくとも１つを含む
ことを特徴とする［１］乃至［７］のいずれか１つに記載の操作表示システム。

［９］前記操作部で受けた設定と、前記一のユーザから前記空中操作によって受けた設定とを融合させて、前記一のユーザに固有の設定を生成する
ことを特徴とする［１］乃至［８］のいずれか１つに記載の操作表示システム。

上記発明では、操作部で設定された設定内容に対して、空中操作によって個人的な設定内容を加えることで、空中操作を行ったユーザに固有の設定を生成することができる。複数人に共通な設定を操作部で行えば、各個人は自分に固有の設定のみを追加すればよいので、最初からすべての設定を個人毎に個別に作成する場合に比べて、設定にかかる作業工数が低減される。

本発明に係る操作表示システムによれば、複数人で閲覧して操作可能な操作表示装置の表示状態を維持しつつ該操作表示装置に表示されている操作画面に対して個人的な操作を行うことができる。

本発明の実施の形態に係る操作表示システムを含む画像処理システムの構成例を示す図である。 画像処理装置の概略構成を示すブロック図である。 ヘッドマウントディスプレイ装置の外観および構成を示す図である。 ヘッドマウントディスプレイ装置の概略構成を示すブロック図である。 操作表示装置の概略構成を示すブロック図である。 画像処理装置の操作画面が表示された操作表示装置の一例を示す図である。 操作表示装置に表示されている操作画面に対してヘッドマウントディスプレイ装置を装着しているユーザが空中操作を行っている様子の一例を示す図である。 図６に示す操作画面に対して図７のように空中操作を行っている状態においてヘッドマウントディスプレイ装置の一方の表示部を通して装着者の目に届く光景の一例を示す図である。 仮想操作画面の画像がヘッドマウントディスプレイ装置の一方の表示部に表示されている状態を示す図である。 図９の仮想操作画面が表示されているときに、ヘッドマウントディスプレイ装置の一方の表示部を通して装着者の目に届く光景を示す図である。 カメラ部の撮影画像を解析することで、ヘッドマウントディスプレイ装置の装着者が見ている現実空間の光景の中にある操作画面の位置（四隅の空間座標）を認識する様子を示す図である。 四隅の空間座標を基に操作表示装置に表示されている操作画面に重ねて仮想操作画面を表示している状態においてヘッドマウントディスプレイ装置の一方の表示部を通して装着者の目に届く光景を示す図である。 操作表示装置で操作を受けた設定内容と空中操作で受けた設定内容とを異なる態様で表示した仮想操作画面の一例を示す図である。 操作表示装置に表示されている操作画面と仮想操作画面の間の空間にある手指が仮想操作画面の背後に隠れて見えなくなる様子を示す図である。 画像合成法による手指の表示例を示す図である。 取り除き法によって手指を視認可能とした例を示す図である。 ヘッドマウントディスプレイ装置が行う処理を示す流れ図である。 図１７のステップＳ１０４の処理の詳細を示す流れ図である。 操作表示装置の処理の概要を示す流れ図である。 図１９のステップＳ２０２の処理の詳細を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る操作表示システム３を含む画像処理システムの構成例を示している。画像処理システムは画像処理装置１０と、この画像処理装置１０に対応した別体の操作表示装置６０と、ユーザが頭部に挿着するヘッドマウントディスプレイ（ＨＭＤ）装置３０と、携帯端末８０や図示省略のＰＣ（パーソナルコンピュータ）などをＬＡＮ（Local Area Network）などのネットワーク２に接続して構成される。操作表示システム３は、操作表示装置６０とヘッドマウントディスプレイ装置３０を有して構成される。操作表示装置６０やヘッドマウントディスプレイ装置３０は、無線通信によりネットワーク２と接続される。

画像処理装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク２を通じて送信したりするスキャン機能、ＰＣなどからネットワーク２を通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。

操作表示装置６０は、画像処理装置１０に対する各種の操作をユーザから受け付ける機能を備えた、所謂、リモート操作パネルである。操作表示装置６０は比較的大きな表示部を備えており、複数人で同時に閲覧しながら操作を受けることができる。

ヘッドマウントディスプレイ装置３０は、ユーザの視線方向の現実空間に任意の画像を合成した拡張現実空間をユーザに見せるＡＲ（Augmented Reality）表示部としての機能を果たす。

操作表示システム３では、ユーザは、操作表示装置６０に表示されている操作画面に対してタッチ操作などにより各種の操作を行うことができる。操作表示装置６０に表示される操作画面の内容はユーザから受けたタッチ操作等に従って変更される。

また、操作表示システム３では、ヘッドマウントディスプレイ装置３０を装着したユーザは、操作表示装置６０に表示されている操作画面に対して、該操作画面から離れた空中で所定の操作を行うことができる。このように操作画面から離れた空中で行う操作を空中操作と呼ぶものとする。

操作表示システム３は、ヘッドマウントディスプレイ装置３０を装着して操作表示装置６０に表示されている操作画面を見ているユーザから、該操作画面に対する空中操作を受けると、その空中操作に従って操作画面の内容を変更した場合の仮想操作画面を作成し、該ユーザの視線方向の現実空間にこの仮想操作画面の画像をＡＲ情報として合成した拡張現実空間をヘッドマウントディスプレイ装置３０に表示する。一方、操作表示装置６０に表示中の操作画面は空中操作に基づいて変更しない。

このように、操作表示システム３では、複数人で閲覧して操作可能な操作表示装置６０の表示状態を維持しつつ、ヘッドマウントディスプレイ装置３０を装着したユーザは操作表示装置６０に表示されている操作画面に対して個人的な操作（空中操作）を行って、該操作に応じて変更された操作画面を確認することができる。これにより、ヘッドマウントディスプレイ装置３０を装着したユーザは、他のユーザに迷惑をかけることはなく、操作表示装置６０に表示中の操作画面に対して個別の操作を行って、その操作に従って変更された後の操作画面を確認することができる。

図２は、画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、当該画像処理装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、画像読取部１７、操作表示部２１、通信部２２、画像処理部２３、プリンタ部２４、ファクシミリ通信部２５、認証部２６などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像処理装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。

画像読取部１７は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１７の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部１７は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１６によって搬送される原稿を順次読み取る機能を備えている。

操作表示部２１は、各種の操作画面、設定画面等を表示したりユーザからジョブの投入などの操作を受けたりする機能を果たす。操作表示部２１は液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などの表示装置と、スタートボタンなどの各種操作スイッチと、表示装置の表示面上に設けられたタッチパネルとを備えている。タッチパネルは、表示装置の表示面がタッチペンや指などで接触操作された座標位置を検出する。

通信部２２は、ネットワーク２を通じて操作表示装置６０やＰＣ、サーバなどの外部装置と通信する機能を果たす。通信部２２はヘッドマウントディスプレイ装置３０や携帯端末８０と無線通信する機能も備えている。

画像処理部２３は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２４は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ファクシミリ通信部２５は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

認証部２６は、画像処理装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。

図３は、ヘッドマウントディスプレイ装置３０の概略構成を示している。ヘッドマウントディスプレイ装置３０は、眼鏡型を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ装置３０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。

ヘッドマウントディスプレイ装置３０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部３１と、左右の表示部３１をそれらの間で繋ぐブリッジ３２と、ブリッジ３２で連結された左右の表示部３１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル３３などを備えている。表示部３１は、たとえば、眼鏡のレンズに対応するものであり、透明な部材で構成される。ただし、視力を矯正する効果はなくてよい。

表示部３１の両脇には、制御回路、投影部４６、カメラ部４７などを含む基幹部３４が設けられている。また各表示部３１の前方に位置するようにハーフミラー３５が、左右の基幹部３４から延びる支持腕に支持されている。

ハーフミラー３５は前方から表示部３１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部３４の投影部４６は、画像（拡張現実情報（ＡＲ情報）の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。ハーフミラー３５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー３５は、たとえば、透過と反射の光量比が１：１になっている。

ヘッドマウントディスプレイ装置３０の装着者の目には、現実空間に対応する外光Ｌ１とＡＲ情報に対応する画像光Ｌ２とが１：１の割合で合成された光が表示部３１を通じて入射する。すなわち、ヘッドマウントディスプレイ装置３０は、外の様子（現実空間）と投影部４６が投影した画像（ＡＲ情報）とを重ね合わせた拡張現実空間を装着者に見せる機能を果たす。

図４は、ヘッドマウントディスプレイ装置３０の構成を示すブロック図である。ヘッドマウントディスプレイ装置３０は、制御部としてのＣＰＵ４１にバスを介してＲＯＭ４２、ＲＡＭ４３、不揮発メモリ４４、方位センサー部４５、投影部４６、カメラ部４７、操作部４８、表示部３１、通信部４９、画像処理部５１、空中操作検出部５２などを接続して構成される。

ＣＰＵ４１はＲＯＭ４２に格納されているプログラムに従ってヘッドマウントディスプレイ装置３０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報が記憶される。

方位センサー部４５は、ヘッドマウントディスプレイ装置３０の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ヘッドマウントディスプレイ装置３０を装着している操作者の姿勢や操作者が向いている方向や角度（これらは、カメラ部４７が撮影している方向や向きと一致）を検出したり、ヘッドマウントディスプレイ装置３０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ヘッドマウントディスプレイ装置３０を装着している操作者の姿勢、角度、傾けられたりした動作の向きや速さを認識する。

投影部４６は前述したように、投影対象の画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。

カメラ部４７は、ヘッドマウントディスプレイ装置３０の前方を撮影する。より詳細には、ヘッドマウントディスプレイ装置３０の装着者の視線方向の現実空間を撮影する。すなわち、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４７は、左右の基幹部３４にそれぞれ設けられてステレオ撮影することができる。このステレオ撮影された画像を解析することで各物体までの距離を認識することができる。カメラ部４７は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。

操作部４８は基幹部３４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。

通信部４９は、無線ＬＡＮを含むネットワーク２を通じて操作表示装置６０や他の外部装置との間でデータを通信する機能を果たす。なお、操作表示装置６０との間の通信は、ネットワーク２を介さない、近距離無線通信で行うことも可能になっている。

画像処理部５１は、投影部４６からハーフミラー３５を介して表示部３１へ投影する画像の拡大・縮小、変形などを行う。

空中操作検出部５２は、カメラ部４７の撮影画像を解析して空中操作を検出する。

なお、ヘッドマウントディスプレイ装置３０は、光透過型に限定されず、ビデオ透過型でもよい。ビデオ透過型の場合、ユーザは外の様子を外光の透過によってみることはできないが、カメラ部４７で撮影している外の様子の映像が表示部３１に映し出され、この映像に任意の画像が合成されて拡張現実空間が表示される。

ヘッドマウントディスプレイ装置３０には、当該ヘッドマウントディスプレイ装置３０を使用するユーザが設定される。たとえば、何らかの方法でユーザ認証して、使用者を特定してもよい。

図５は、操作表示装置６０の概略構成を示している。操作表示装置６０は、ＣＰＵ６１にバスを介してＲＯＭ６２、ＲＡＭ６３、不揮発メモリ６４、ハードディスク装置６５、認証部６６、操作表示部６７、画面作成部６８、通信部６９、画像処理部７１などを接続して構成される。

ＣＰＵ６１はＲＯＭ６２に格納されているプログラムに従って操作表示装置６０の動作を制御する。ＲＯＭ６２にはプログラムや固定データが記憶されている。ＲＡＭ６３はＣＰＵ６１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ６４には、各種の設定情報が記憶される。ハードディスク装置６５は大容量不揮発の記憶装置であり、各種の操作画面の画面データ、画面の遷移情報（たとえば、遷移表）などが記憶される。

認証部６６は、操作表示装置６０を使用するユーザを認証する。操作表示装置６０で認証されると、遠隔からの画像処理装置１０の使用者として認証されることになる。

操作表示部６７は、各種の操作画面、設定画面等を表示したりユーザからジョブの投入操作などを受けたりする機能を果たす。操作表示部６７は比較的大きな（たとえば１２インチ程度）液晶ディスプレイなどの表示部と、スタートボタンなどの少数の操作スイッチと、表示部の表示面上に設けられたタッチパネルなどから成る操作部とを備えている。ＣＰＵ６１は操作表示部６７に表示される操作画面を変更する表示制御部としての機能を果たす。

画面作成部６８は、空中操作に従って操作画面の内容を変更した場合の操作画面である仮想操作画面の画面データを作成する機能を果たす。

通信部６９は、無線ＬＡＮを含むネットワーク２を通じて画像処理装置１０やヘッドマウントディスプレイ装置３０などの外部装置との間でデータを通信する機能を果たす。なお、通信部６９は近距離無線通信の機能も有し、ヘッドマウントディスプレイ装置３０との間の通信を近距離無線通信にて行うこともできる。

画像処理部７１は、画像データに対して、回転、拡大縮小、変形など各種の処理を施す。

操作表示装置６０は画像処理装置１０の操作表示部２１に表示される操作画面と同じ操作画面を表示することが可能であり、当該操作表示装置６０の操作表示部６７で受け付けた操作内容を画像処理装置１０へ送信する。

次に、ヘッドマウントディスプレイ装置３０の装着者が操作表示装置６０に表示された操作画面に対して空中操作を行う場合のヘッドマウントディスプレイ装置３０および操作表示装置６０の動作について説明する。

図６は、画像処理装置１０を遠隔操作するための操作画面９１が表示された状態の操作表示装置６０の一例を示している。操作表示装置６０の表示面７３には、大きく操作画面９１が表示される。そのため、操作表示装置６０は複数人で同時に閲覧して共用することができる。操作画面９１は表示面７３の全面またはほぼ全面に表示されてもよい。

図７は、操作表示装置６０に表示されている操作画面９１に対して、ヘッドマウントディスプレイ装置３０を装着しているユーザが空中操作を行っている様子の一例を示している。空中操作は、操作表示装置６０の表示面７３から離れた空中で行われる。空中操作の種類には、タッチパネルに対するタッチ操作に相当する空中タッチ操作、タッチパネルに対するフリック操作に相当する空中フリック操作、空中でのジェスチャー操作である空中ジェスチャー操作などがある。なお、空中操作は、ヘッドマウントディスプレイ装置３０の表示部３１と操作表示装置６０の表示面７３との間の空間であれば、操作表示装置６０から遠くに離れた位置で行われてもよく、図７に示すような距離で行われるものに限定されるものではない。

図８は、図６に示す操作画面９１に対して図７の空中操作を行っている状態において、ヘッドマウントディスプレイ装置３０の一方の表示部３１を通して装着者の目に届く光景の一例を示している。図８において装着者の目に届く光景はすべて現実空間となっている。

操作表示システム３では、ヘッドマウントディスプレイ装置３０を装着して操作表示装置６０の操作画面９１を見ているユーザから該操作画面９１に対する空中操作を受けると、表示中の操作画面９１の内容をその空中操作に従って変更した場合の仮想操作画面９３（図９参照）を作成し、該ユーザの見ている現実空間にこの仮想操作画面９３の画像を合成した拡張現実空間をヘッドマウントディスプレイ装置３０に表示する。

図９は、図６に示す操作画面９１の中にある応用設定の操作ボタン９４に対して図８に示す空中操作を受けた場合に作成される仮想操作画面９３の画像が、ヘッドマウントディスプレイ装置３０の一方の表示部３１に拡張現実情報（ＡＲ情報）として表示されている状態を示している。図９では現実空間の情報は示していない。

この仮想操作画面９３は、ヘッドマウントディスプレイ装置３０を装着しているユーザが見ている現実空間（図８参照）内の操作表示装置６０に表示されている操作画面９１の位置に丁度重なるように、サイズや位置が調製されて表示される。

図１０は、図９の仮想操作画面９３が表示されているときに、ヘッドマウントディスプレイ装置３０の一方の表示部３１を通して当該ヘッドマウントディスプレイ装置３０の装着者の目に届く光景を示している。仮想操作画面９３が現実空間の操作画面９１に重なるように表示されるため、ヘッドマウントディスプレイ装置３０を装着しているユーザには、あたかも、現実空間内の操作表示装置６０に表示される操作画面の内容が空中操作に従って変更されたかのように見える。なお、この例では、現実空間の操作表示装置６０に表示されている操作画面が透けて見えないように、仮想操作画面は不透明な画像にされている。

空中操作を受けても操作表示装置６０に表示中の操作画面は変更されない。したがって、ヘッドマウントディスプレイ装置３０の装着者が図１０に示す光景を見ているとき、現実の操作表示装置６０では図６に示す表示状態が維持されている。なお、ヘッドマウントディスプレイ装置３０を装着している操作者は、表示された仮想操作画面９３に対してさらに空中操作を行うことができるようになっている。

図１１は、カメラ部４７の撮影画像を解析することで、ヘッドマウントディスプレイ装置３０の装着者が見ている現実空間の光景の中にある操作画面９１の位置を認識する様子を示している。ここでは、ヘッドマウントディスプレイ装置３０のカメラ部４７の撮影画像内で、操作表示装置６０に表示されている操作画面９１を検出したとき、その操作画面９１の四隅の空間座標（（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）、（Ｘ４、Ｙ４））を求めている。

図１２は、図１１に示すようにして求めた四隅の空間座標を基に、仮想操作画面９３をヘッドマウントディスプレイ装置３０の一方の表示部３１に表示した状態を示している。ＡＲ情報である仮想操作画面９３は、現実空間内の操作表示装置６０に表示されている操作画面９１の位置に重なりかつ現実空間における操作画面９１と同じ大きさに見えるように、位置およびサイズが調整されて表示される。

図１３は、空中操作に応じてヘッドマウントディスプレイ装置３０にＡＲ情報として表示される他の一例の仮想操作画面９３Ｂを示している。この仮想操作画面９３Ｂでは、操作表示装置６０に対する直接の操作（操作表示装置６０のタッチパネルや操作スイッチ等への操作）で設定された設定項目と、空中操作によって設定された設定項目とが異なる表示態様で表示される。

図１３の例では、ホスト名、ファイルパス、ユーザ名の各設定項目の設定内容については操作表示装置６０で入力操作を受けている。パスワードは空中操作で入力を受けている。たとえば、操作表示装置６０に対する直接の操作で設定された設定項目と、空中操作によって設定された設定項目とは、表示色、フォントサイズなどを相違させることで識別可能に表示される。パスワードは、たとえば、ＡＲ情報として表示した仮想のキーボードから空中操作によって入力される。図１３では、操作表示装置６０で入力操作を受けた内容に対応する文字の背景は白色にしてあり、空中操作で設定された内容に対応する文字の背景はグレーにしてある。

操作表示システム３では、操作表示装置６０で受けた操作による設定と、ヘッドマウントディスプレイ装置３０の装着者から空中操作によって受けた設定とを融合させて、該ヘッドマウントディスプレイ装置３０の装着者に固有の設定を生成することができる。たとえば、複数のユーザに共通な部分の設定は操作表示装置６０で行い、セキュリティ情報などの個人的な部分の入力を空中操作で行うことで、複数人に共通な部分と個人的な部分とを含む一連の設定をユーザ別に作成する場合の作業工数を削減して効率的な設定が可能になる。また、パスワードなどのセキュリティ情報を他人に見られることなく入力することができる。

上記の融合によって生成された個人的な設定はヘッドマウントディスプレイ装置３０から画像処理装置１０へ直接送信して設定登録される、あるいはヘッドマウントディスプレイ装置３０から操作表示装置６０へ送信され、これを操作表示装置６０が画像処理装置１０へ送信して画像処理装置１０に設定登録される。あるいは、操作表示装置６０はヘッドマウントディスプレイ装置３０に表示させている仮想操作画面９３Ｂを把握しているので、操作表示装置６０において上記の融合させた設定を生成し、これを画像処理装置１０へ送信して設定登録するような構成でもかまわない。

次に、仮想操作画面９３が表示されている状態での手指の視認について説明する。

操作表示装置６０に表示されている操作画面９１の位置に重なるようにして仮想操作画面９３をヘッドマウントディスプレイ装置３０に表示すると、図１４に示すように、ヘッドマウントディスプレイ装置３０を装着しているユーザには、操作表示装置６０に表示されている操作画面９１と仮想操作画面９３の間の空間にある手指９５が仮想操作画面９３の背後に隠れて見えなくなってしまう。図では、仮想操作画面９３の背後に隠れて見えない手指を破線９５ｂで示してある。

このような状態では、仮想操作画面９３が表示された後、この仮想操作画面９３に対してさらに空中操作を行うことが難しくなる。そこで、操作表示システム３では、仮想操作画面９３を表示中に手指９５の視認を可能にするために、以下の２つの対応法のいずれかを選択して実施可能としている。

＜画像合成法＞
図１５は、画像合成法による手指の表示例を示している。画像合成法では、カメラ部４７で撮影している映像の中から、手指９５のうちで仮想操作画面９３によって隠される部分（拡張現実空間において仮想操作画面９３の背後に隠れる部分）を検出して抽出し、その部分の手指の画像９６をＡＲ情報として、仮想操作画面９３の上に重なるように合成してヘッドマウントディスプレイ装置３０に表示する。ヘッドマウントディスプレイ装置３０を装着しているユーザは、実物の手指９５の代わりに、ＡＲ情報として表示された手指の画像９６を視認する。ＡＲ情報として表示された手指９６の位置や大きさは実物の手指９５の動きに従って変化する。

＜取り除き法＞
図１６は、取り除き法による手指の視認例を示している。取り除き法では、カメラ部４７で撮影している映像の中から、手指９５のうちで仮想操作画面９３によって隠される部分（拡張現実空間において仮想操作画面９３の背後に隠れる部分）を検出する。そして、仮想操作画面９３から、その検出した手指９５の部分に対応する領域（除いた部分９７）を取り除いたものをＡＲ情報としてヘッドマウントディスプレイ装置３０に表示する。ヘッドマウントディスプレイ装置３０を装着しているユーザは、この取り除き部分９７を通して、実物の手指９５を視認することができる。取り除き部分９７の位置や大きさは実物の手指９５の動きに従って変化する。

図１７は、空中操作に関してヘッドマウントディスプレイ装置３０が行う処理の流れを示している。操作表示システム３のヘッドマウントディスプレイ装置３０は、カメラ部４７が撮影している映像を解析して、操作表示装置６０の操作表示部６７の表示面とヘッドマウントディスプレイ装置３０の表示部３１との間の空間にある手指９５の検出を継続的に試みる（ステップＳ１０１；Ｎｏ）。上記の空間内で手指９５が検出されると（ステップＳ１０１；Ｙｅｓ）、カメラ部４７の撮影画像から操作表示装置６０に表示されている操作画面９１の四隅の空間座標を算出する（ステップＳ１０２、図１１参照）。そして、この算出した四隅の空間座標を不揮発メモリ４４に保存する（ステップＳ１０３）。

次に、操作表示装置６０に表示されている操作画面９１に対する空中操作の位置と種別を特定する処理を行う（ステップＳ１０４）。ここでは、空中での手指９５の動きが、空中タッチ操作、空中フリック操作、空中ジェスチャー操作のいずれに該当するかを判断する。ステップＳ１０４の処理の詳細は後述する。

空中操作が検出されない場合は（ステップＳ１０５；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。空中操作が検出された場合は（ステップＳ１０５；Ｙｅｓ）、その検出された空中操作の位置と種別を示す情報（空中操作情報とする）を操作表示装置６０へ送信する（ステップＳ１０６）。

空中操作情報を受信した操作表示装置６０は、表示中の操作画面９１と空中操作情報に基づいて、仮想操作画面９３の画像データ（ＡＲ情報）を作成してヘッドマウントディスプレイ装置３０へ送信する。

ヘッドマウントディスプレイ装置３０は、空中操作情報を送信してから一定時間が経過しても操作表示装置６０から仮想操作画面９３のＡＲ情報が受信されない場合は（ステップＳ１０７；Ｙｅｓ）、操作表示装置６０からＡＲ情報が受信されない旨のエラー表示を行って（ステップＳ１０８）、処理を終了する。

一方、空中操作情報を送信してから一定時間が経過する前に操作表示装置６０から仮想操作画面９３のＡＲ情報を受信した場合は（ステップＳ１０７；Ｎｏ、Ｓ１０９；Ｙｅｓ）、その受信したＡＲ情報（仮想操作画面９３）を表示部３１に表示して（ステップＳ１１０）、本処理を終了する。なお、本処理は繰り返し継続的に実行される。

図１８は、図１７のステップＳ１０４の処理の詳細を示している。まず、カメラ部４７の撮影画像を取得する（ステップＳ１３１）。この撮影画像は、操作表示装置６０に表示されている操作画面９１と、この操作画面９１に対して空中操作を行っている操作者の手指９５とが写っているものである。

取得した撮影画像から、操作表示装置６０に表示中の操作画面９１に対する手指９５による操作箇所（位置）を特定する（ステップＳ１３２）。次に、ステップＳ１３２で位置を特定した手指９５の動きから空中操作の種別を判別する（ステップＳ１３３）。ここでは、空中タッチ操作、空中フリック操作、空中ジェスチャー操作に対応する指の動きのパターンをそれぞれ予め記憶しておき、これらのパターンと撮影画像における手指９５の動きとを比較（パターンマッチング）して、空中操作の種別を特定する。図１８に示す処理では、空中操作が検出された場合はその位置と種別を示す情報が戻り値にされ、空中操作が検出されない場合は、検出なしを示す情報が戻り値にされる。

図１９は、操作表示装置６０の処理の概要を示している。操作表示装置６０は、ヘッドマウントディスプレイ装置３０から空中操作情報の受信を監視している（ステップＳ２０１；Ｎｏ）。ヘッドマウントディスプレイ装置３０から空中操作情報を受信すると（ステップＳ２０１；Ｙｅｓ）、操作表示装置６０の画面作成部６８は、その空中操作情報が示す空中操作に対応する仮想操作画面（ＡＲ情報）９３を作成する（ステップＳ２０２）。仮想操作画面９３を作成する処理の詳細は後述する。

操作表示装置６０は、空中操作を受けても、自装置に表示中の操作画面９１は変更しない（ステップＳ２０３）。操作表示装置６０は、ステップＳ２０２で作成した仮想操作画面(ＡＲ情報)９３の画像のデータをヘッドマウントディスプレイ装置３０へ送信して（ステップＳ２０４）、処理を終了する。

図２０は、図１９のステップＳ２０２の処理の詳細を示している。まず、ＡＲ情報の表示設定の設定内容を不揮発メモリ６４から取得する（ステップＳ２２１）。ＡＲ情報の表示設定とは、ＡＲ情報（仮想操作画面９３）の作成に関して選択可能な条件に関する設定である。ここでは、図１５、図１６で示した手指９５の隠れに関する対応方法をＡＲ情報の表示設定に関する条件として設定可能になっている。予め別途の設定画面でＡＲ情報の表示設定に関する設定操作を受け付け、その設定内容が不揮発メモリ６４に保存されている。

不揮発メモリ６４から読み出したＡＲ情報の表示設定（手指９５の隠れに関する対応方法）に関する設定内容が、手指９５の隠れに対応しない、ことを示す場合は（ステップＳ２２２；Ｎｏ）、手指９５の隠れを考慮しないＡＲ情報（仮想操作画面）を作成して（ステップＳ２２３）、本処理を終了する（リターン）。

なお、手指９５の隠れを考慮しないＡＲ情報の作成では、まず、操作表示装置６０に現在表示中の操作画面９１を特定し、ヘッドマウントディスプレイ装置３０から受信した空中操作情報が示す空中操作の位置および種別から、この操作画面９１に対する空中操作の操作内容を特定する。たとえば、「応用設定の操作ボタン９４に対するタッチ操作である」というような特定を行う。次に、現在表示中の操作画面９１に対して、上記の特定した操作を実際に行った場合に操作表示装置６０の操作表示部６７に表示すべき変更後の操作画面を、仮想操作画面９３として求める。

ＡＲ情報の表示設定の設定内容が、前述した画像合成法で手指９５の隠れに対応することを示す場合は（ステップＳ２２２；Ｙｅｓ、Ｓ２２４；Ｙｅｓ）、画像合成法で手指９５の隠れに対応したＡＲ情報（仮想操作画面）を作成して（ステップＳ２２５）、本処理を終了する(リターン)。詳細には、手指９５の隠れを考慮しない場合と同じ仮想操作画面９３を基本画面として求め、この基本画面の上の該当位置に手指の画像９６を合成した画像をＡＲ情報として求める。

ＡＲ情報の表示設定の設定内容が、前述した取り除き法で手指９５の隠れに対応することを示す場合は（ステップＳ２２２；Ｙｅｓ、Ｓ２２４；Ｎｏ）、取り除き法で手指９５の隠れに対応したＡＲ情報（仮想操作画面）を作成して（ステップＳ２２６）、本処理を終了する(リターン)。詳細には、手指９５の隠れを考慮しない場合と同じ仮想操作画面９３を基本画面として求め、この基本画面から手指に対応する取り除き部分９７を取り除いた画像をＡＲ情報として生成する。

以上説明したように、操作表示システム３では、複数人で閲覧して操作可能な操作表示装置６０の表示状態（操作画面９１）を維持しつつ、ヘッドマウントディスプレイ装置３０を装着したユーザは、操作表示装置６０に表示されている操作画面９１に対して個人的な操作を行って、該操作に応じて変更された後の操作画面（仮想操作画面９３）をヘッドマウントディスプレイ装置３０において確認することができる。これにより、ヘッドマウントディスプレイ装置３０を装着したユーザは、他のユーザに迷惑をかけることはなく、操作表示装置６０に表示中の操作画面９１に対して個別の操作を行って、その操作に応じて変更された操作画面９３を確認することができる。また、空中操作によってセキュリティ情報などの個人的な情報を入力すれば、該情報を他人に覗かれてしまうことはない。

また、現実空間の操作表示装置６０に表示されている操作画面９１にちょうど重なるように仮想操作画面９３を表示するので、ヘッドマウントディスプレイ装置３０を装着しているユーザは、あたかも、現実空間の操作表示装置６０の表示が空中操作に従って変更されたかのように視認することができる。

また、図１３に示すように、操作表示装置６０で受けた操作によって設定された項目と空中操作によって設定された項目とを、仮想操作画面９３において異なる表示態様で識別可能に表示するので、各項目に対する設定が空中操作で行われたか否かを一目で確認することができる。

また、操作表示装置６０で受けた操作による設定と、ヘッドマウントディスプレイ装置３０の装着者から空中操作によって受けた設定とを融合させて、該ヘッドマウントディスプレイ装置３０の装着者に固有の設定を生成するので、複数のユーザに共通な部分の設定は操作表示装置６０で行い、個人的な部分の設定は空中操作で行うことで、複数人に共通な部分と個人的な部分とを含む一連の設定をユーザ別に作成する場合の作業効率を高めることができる。また、空中操作で入力を行えば、セキュリティ情報などを他人に見られることなく入力することができる。

また、手指９５の隠れに対応したので、操作表示装置６０に表示中の操作画面９１に重ねて仮想操作画面９３を不透明に表示した場合でも、手指を見ながら仮想操作画面９３に対して空中操作を行うことができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、操作表示装置６０に対する空中操作を例に説明したが、画像処理装置１０の操作表示部２１が空中操作に関連する機能を備え、操作表示部２１に対して空中操作を可能としてもよい。

実施の形態では、カメラ部４７の撮影画像を解析して空中操作を検出したが、他の方法で空中操作を検出してもよい。たとえば、操作表示装置６０が音波などを射出し、その反射によって手指の動きや位置を認識して空中操作を検出する、といった方法でもよい。

実施の形態では、空中操作として、空中でのフリック操作、空中でのタッチ操作、空中でのジェスチャー操作を検出したが、検出対象の空中操作はこれらのうちの１以上の任意数でよい。なお、空中でのジェスチャーには、記号や文字を描く、といった動作が含まれる。また、ピンチアウト、ピンチインなど他の動作を空中操作として認識してもよい。

ヘッドマウントディスプレイ装置３０と操作表示装置６０との役割分担は、実施の形態で例示したものに限定されず、適宜に配分すればよい。たとえば、仮想操作画面９３を作成する画面作成部６８の機能をヘッドマウントディスプレイ装置３０に持たせてもかまわない。

たとえば、この場合、ヘッドマウントディスプレイ装置３０に操作表示装置６０に表示されるすべての操作画面の画面データや画面遷移表のデータを記憶しておき、空中操作を検出したとき、操作表示装置６０から現在表示中の操作画面９１の識別番号などを取得し（あるいはカメラ部４７の撮影画像を解析して操作画面を識別し）、この操作画面９１を空中操作に従って変更した場合の仮想操作画面９３を作成すればよい。このほか、カメラ部４７で撮影した映像を操作表示装置６０へ送信し、操作表示装置６０において空中操作を検出するように役割配分してもよい。

実施の形態では、拡張現実空間の表示装置をヘッドマウントディスプレイ装置３０としたが、カメラ部を備えた携帯端末８０であってもかまわない。この携帯端末８０は、カメラ部の撮影画像内で、操作表示装置６０に表示されている操作画面９１とこの操作画面９１に対する空中操作とを検出し、この空中操作に対応する仮想操作画面９３をＡＲ情報として作成し、該ＡＲ情報をカメラ部が撮影している現実空間に合成した拡張現実空間を表示部に表示するように動作する。

手指９５の隠れへの対応は、操作表示装置６０に表示中の操作画面９１に重ねて仮想操作画面９３を表示する場合に限らず、操作表示装置６０に表示中の操作画面９１とは別の位置に仮想操作画面９３を表示する場合にも有用である。すなわち、仮想操作画面９３を表示した後は、この仮想操作画面９３に対して空中操作が行われるので、仮想操作画面９３の背後に隠れないように手指を視認可能にすることは有用である。

２…ネットワーク
３…操作表示システム
１０…画像処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…自動原稿搬送部
１７…画像読取部
２１…操作表示部
２２…通信部
２３…画像処理部
２４…プリンタ部
２５…ファクシミリ通信部
２６…認証部
３０…ヘッドマウントディスプレイ装置
３１…表示部
３２…ブリッジ
３３…ツル
３４…基幹部
３５…ハーフミラー
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…投影部
４７…カメラ部
４８…操作部
４９…通信部
５１…画像処理部
５２…空中操作検出部
６０…操作表示装置
６１…ＣＰＵ
６２…ＲＯＭ
６３…ＲＡＭ
６４…不揮発メモリ
６５…ハードディスク装置
６６…認証部
６７…操作表示部
６８…画面作成部
６９…通信部
７１…画像処理部
７３…表示面
８０…携帯端末
９１…操作画面
９３…仮想操作画面
９３Ｂ…仮想操作画面（色分け表示）
９４…応用設定の操作ボタン
９５…現実空間の手指
９５ｂ…仮想操作画面の背後に隠れて見えない手指
９６…手指の画像
９７…取り除き部分
Ｌ１…外光
Ｌ２…画像光

Claims (9)

1. 操作画面を表示する複数人で閲覧可能な表示部と、前記表示部に表示された操作画面に対する操作を受ける操作部と、前記操作部で受けた操作に従って前記表示部に表示される操作画面を変更する表示制御部とを備えた操作表示装置と、
   前記表示部に表示されている操作画面に対して前記表示部から離れた空中で一のユーザが行った操作である空中操作を検出する空中操作検出部と、
   前記空中操作検出部によって検出された前記空中操作に従って前記操作画面の内容を変更した仮想操作画面を作成する仮想操作画面作成部と、
   現実空間に前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せるＡＲ表示部と、
   を有し、
   前記表示制御部は、前記表示部に表示中の操作画面を前記空中操作に基づいて変更しない
   ことを特徴とする操作表示システム。
2. 前記ＡＲ表示部は、現実空間内の前記表示部の位置に重なるように前記仮想操作画面の画像を合成した拡張現実空間を前記一のユーザに見せる
   ことを特徴とする請求項１に記載の操作表示システム。
3. 前記ＡＲ表示部は、前記操作部で受けた操作によって設定された項目と前記空中操作によって設定された項目とを、前記仮想操作画面において異なる表示態様で識別可能に表示する
   ことを特徴とする請求項１または２に記載の操作表示システム。
4. 前記ＡＲ表示部は、前記一のユーザが頭部に装着する眼鏡型のヘッドマウントディスプレイである
   ことを特徴とする請求項１乃至３のいずれか１つに記載の操作表示システム。
5. 前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
   前記ＡＲ表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、該検出した手指の画像を前記仮想操作画面の画像の手前に合成する
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作表示システム。
6. 前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
   前記ＡＲ表示部は、前記カメラで撮影している前記現実空間の画像から、前記拡張現実空間において前記仮想操作画面の画像の背後に隠れる手指を検出し、前記仮想操作画面の画像のうち前記検出した手指を隠している部分を消去する
   ことを特徴とする請求項１乃至４のいずれか１つに記載の操作表示システム。
7. 前記一のユーザの視線方向の現実空間を撮影するカメラを備え、
   前記空中操作検出部は、前記カメラが撮影している画像を解析して前記空中操作を検出する
   ことを特徴とする請求項１乃至６のいずれか１つに記載の操作表示システム。
8. 前記空中操作は、空中でのフリック操作、空中でのタッチ操作、空中でのジェスチャー操作のうちの少なくとも１つを含む
   ことを特徴とする請求項１乃至７のいずれか１つに記載の操作表示システム。
9. 前記操作部で受けた設定と、前記一のユーザから前記空中操作によって受けた設定とを融合させて、前記一のユーザに固有の設定を生成する
   ことを特徴とする請求項１乃至８のいずれか１つに記載の操作表示システム。