JP2005174021A - 情報提示方法及び装置 - Google Patents

Abstract

【課題】複合現実空間において、他のユーザによって指示された位置に関する情報を、当該指示された位置が視野画面上で観察可能であるか否かにかかわらず提示可能とする。
【解決手段】３次元空間内のポイント位置をユーザに提示する情報提示方法は、検出された視点位置及び視線方向に基づいて特定される仮想空間の視野範囲を視野平面に投影した画像を表示させる。そして、仮想空間内におけるポイント位置を特定し、そのポイント位置が視野範囲にある場合は該ポイント位置を明示するためのアノテーション５１１、５１２を当該画像上に表示させ、該ポイント位置が該視野範囲外にある場合には該ポイント位置が存在する方向を示すアノテーション５１３を表示させる。
【選択図】 図５

Description

本発明は、３次元空間内におけるポイント位置を認識するのに有用な、特に複数人で複合現実空間を共有するために有用な、ポインティングアノテーションの重畳を行うための情報提示装置、情報提示方法、および記憶媒体に関する。

現実世界と仮想世界とを違和感なく自然に融合する複合現実感（ＭＲ：Mixed Reality）の技術を応用した装置が盛んに提案されている。中でもヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を装着したユーザが観測している現実世界や仮想世界に対して仮想の情報を重畳することにより、仮想の情報をユーザに提示するような装置では、工事やメンテナンスなどの作業性を向上させることが期待できる。例えば，特許文献１には複数人で仮想空間を共有することが開示されている。また、複数人が一つの複合現実空間（ＭＲ空間）を共有し、会議や講演、協調作業を行うためのシステムが提案されている。

複数人が一つのＭＲ空間を共有しながら会議や講演を行ったり、協調を必要とする作業などを行う際には、複数人で同一の対象を観測し、その対象物に関する情報を共有することが必要である。この場合、あるユーザが他のユーザに注目させたい対象物を明示することが必要となる。特願２００２−２２３２７９号では、あるユーザが他のユーザに注目させたい対象の方向を伝える手段または、ユーザが注目すべき対象の方向を知る手段を提案している。
特開２００２−２４７６０２号公報

ＭＲ空間では、現実世界に仮想物を重畳して表示するため、実際には見えるユーザや指示対象物が仮想物体によって隠れてしまう場合などがある。この場合、あるユーザが指示している場所（対象物）を、他のユーザが把握できなくなることがある。従って、あるユーザが他のユーザに注目させたい対象を伝える、ＭＲ空間に特有の手段が必要とされていた。特願２００２−２２３２７９号による提案では、注目対象物を１つの単位として扱っているために、注目対象物の一部分（例えば、現在見えている裏側など）を指し示す手段が考慮されていない。また、特に注目対象物が視野外にある場合「注目対象のおおよその方向」を指し示す手段を提供するものであり、「注目対象の位置」を指し示す手段を提供するものではない。

本発明は、上記の課題に鑑みてなされたものであり、複合現実空間において、他のユーザによって指示された位置に関する情報を、当該指示された位置が視野画面上で観察可能であるか否かにかかわらず提示可能とすることを目的とする。

前記の目的を達成するための本発明による情報提示装置は以下の構成を備える。
すなわち、
３次元空間内のポイント位置をユーザに提示する情報提示方法であって、
検出された視点位置及び視線方向に基づいて特定される仮想空間の視野範囲を視野平面に投影した画像を表示させる第１表示制御工程と、
前記仮想空間内におけるポイント位置を特定する特定工程と、
前記ポイント位置が前記視野範囲にある場合は該ポイント位置を明示するためのアノテーションを前記画像上に表示させ、該ポイント位置が該視野範囲外にある場合には該ポイント位置が存在する方向を示すアノテーションを表示させる第２表示制御工程とを備える。

本発明によれば、複合現実空間において、他のユーザによって指示された位置に関する情報が、当該指示された位置が視野画面上で観察可能であるか否かにかかわらず提示される。このため、他のユーザによって指示された位置を容易に認識できる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜第１実施形態＞
第１実施形態では、現実の風景に仮想空間を重畳したＭＲ空間を複数人で共有するＭＲシステムの例が示される。例えば、ユーザがＨＭＤを装着して眺めると、ユーザの位置・姿勢に応じて富士山の噴火による災害の様子を表すコンピュータグラフィックス（ＣＧ：Computer Graphics）を現実の風景（他のユーザ）に重ね合わせて見ることができる。このＭＲシステムでは、表示装置として、位置・姿勢計測可能なビデオシースルーＨＭＤを用いる。なお、第１実施形態ではビデオシースルーＨＭＤを用いているが、光学シースルーＨＭＤ、更には、携帯型シースルーディスプレイでも実現可能である。ＨＭＤには位置・姿勢計測センサおよびカメラが内蔵されており、ユーザの視点位置からの映像が位置・姿勢情報とともに取得可能である。

複数のユーザは、この噴火による災害の様子（ＣＧ）を見ながら、消火活動や救命活動などの仕方について検討を行うことが可能である。また、各ユーザは、スイッチ付きスタイラスで注目位置（対象物）を指し示し、スイッチをＯＮにすることで、他のユーザに注目して欲しい位置／対象物（以下、ポインティング位置／対象物と呼ぶ）を指し示すことができる。各ユーザのＨＭＤには、他のユーザがポインティングしている物体の位置に関する情報（以下、ポインティングアノテーション）が表示される。

図１は、第１実施形態による情報提示装置１００の全体構成を示すブロック図である。図１において、１０１はユーザ視点映像入力部であり、本実施形態ではＨＭＤに内蔵されたカメラである。ユーザ視点映像入力部１０１はユーザの目に映る現実世界の映像を獲得し、撮影映像を映像信号として映像表示部１０６へ送信する。なお、映像表示部１０６に光学シースルー型のＨＭＤを備える場合においては、ユーザは現実世界を直接観測することが可能であり、ユーザ視点映像入力部１０１は不要となる。

１０２はユーザ視点位置姿勢計測部であり、例えば地磁気センサやジャイロや光学式のセンサなどの位置姿勢計測装置（不図示）を備える。ユーザ視点位置姿勢計測部１０２は、ユーザ視点の位置姿勢情報をＣＧ生成部１０４からの要求に応じて、或いはＣＧ生成部１０４からの要求なしにＣＧ生成部１０４に送出する。

なお、位置姿勢計測装置をユーザの視点位置に設置することは一般的に困難であるため、ユーザ視点位置姿勢計測部１０２は、位置姿勢計測装置の出力結果をもとに、ユーザの視点の位置姿勢を算出する機能を持つ。本実施形態においても、位置姿勢計測装置はＨＭＤに内蔵されており、ユーザの頭部にＨＭＤが固定されることにより、ユーザの視点の位置姿勢が位置姿勢計測装置の出力から算出できる。また、ユーザ視点映像入力部１０１によって現実世界の映像を取り込み、これを画像処理することにより位置姿勢計測装置の出力結果の誤差を補正するようにしてもよい。この画像処理は、例えば、現実空間上で三次元座標が既知である複数の特徴点について画像上での位置を検出し、位置姿勢計測装置の出力結果から計算される特徴点の画像上の位置との比較を行うことで、位置姿勢計測装置の誤差を算出し、その誤差を打ち消すように位置姿勢計測装置の出力結果を補正する処理である。また、この画像処理のみからユーザの視点の位置姿勢を算出してもよい。

１０３はユーザ操作入力部であり、本実施形態ではポインティング対象物を指示するスイッチ付きスタイラスである。本実施形態ではポインティング対象物を、スタイラスの指示する方向で、最も手前にある仮想物体または現実物体と定義する。これによりユーザは、ポインティング対象物の方向をスタイラスで指し示し、スイッチをＯＮにすることで、他のユーザにポインティング対象物／位置を指示することができる。ユーザ操作入力部１０３は、ユーザが操作する操作内容に応じた制御情報をＣＧ生成部１０４へ送る。なお、本実施形態では、スタイラスで指示された方向の、仮想物体或いは現実物体の面上の位置をポインティング位置とし、このポインティング位置を示すポインティングアノテーションの表示制御を説明する。ここで、現実物体の面については現実世界モデルデータをデータ部１０５に保持しておき、これを参照することにより取得することができる。

なお、ユーザ操作入力部１０３は、マウス、ジョイスティックなど他の入力装置を用いたり、ユーザ視点映像入力部１０１からの映像を画像処理することでユーザのジェスチャ認識するなど他の手法でも実現可能である。また、更に、様々なユーザ操作、例えば、仮想物体の移動・削除などを行う操作や、空間中の対象物に関する情報の表示を要求する操作などを設定することも可能である。

１０４はＣＧ生成部であり、例えばコンピュータのＣＰＵやＭＰＵ等で実現される。ＣＧ生成部１０４はユーザ視点位置姿勢計測部１０２から得られるユーザの視点の位置姿勢情報に基づき、仮想世界におけるユーザの視野を求め、データ部１０５からユーザの視野に入る部分のＣＧデータを取り出し、ユーザの視野に重なるＣＧを生成する。

また、ＣＧ生成部１０４は伝送路２００に共有データを送信する機能および伝送路２００から共有データを受信する機能を持つ。これらの機能により、伝送路２００を通じて、他の情報提示装置１００のＣＧ生成部１０４と相互に接続し、必要な情報の交換を行うことができる。図２は複数のユーザが情報提示装置１００を利用する場合の構成を示した図である。このように複数のユーザがそれぞれの情報提示装置１００を利用することにより、複数人が同一のＭＲ空間を共有することが可能である。この共有データには、各ユーザのポインティング対象物が判別できる情報（以下、ポインティング情報と呼ぶ）を含む。ポインティング情報としては、例えば、（１）ユーザを判別する情報（以下、ユーザＩＤ）、仮想空間におけるポインティング位置座標、或いは、（２）ユーザＩＤ、スタイラス位置姿勢情報などが考えられる。

ＣＧ生成部１０４は、伝送路２００から送信されたポインティング情報から、ポインティングアノテーションを生成する。本実施形態では、ポインティングアノテーションを始点・終点をもつ矢印（線分）で表示する。例えば、矢印の始点はユーザ視野平面の定位置（例えば、左右中心・下方辺り）とし、矢印の終点はユーザ視野平面に投影された他ユーザのポインティング位置とする。或いは、ポインティングアノテーションを図８で後述するように、仮想空間中に生成し、これを表示するようにしてもよい。

次に、ポインティングアノテーションについて、図５を参照して説明する。図５（ａ）は、各ユーザ（ユーザＡからユーザＤ）の位置関係および、ユーザＡ〜Ｃによるポインティングの様子を模式的に示している。図５（ａ）において、山５０１及び建物５０２はＣＧである。ユーザＡ、ユーザＢはそれぞれ矢印の先をポインティングしており、ユーザＡは山５０１の部分を、ユーザＢは建物５０２の部分をポインティングしている。ユーザＣは山５０１の向こう側から山５０１の向こう側をポインティングしている。また、ユーザＤはどこもポインティングしていない。ユーザＤとユーザＣはＣＧの山５０１で隠れて、互いに観察することができない。

図５の（ｂ）、（ｃ）は、ポインティングアノテーションが、ユーザＤの視界に表示される様子を示す図である。

図５（ｂ）について説明する。ユーザＡが山５０１をポインティングしており、ユーザＡのポインティング位置はユーザＤの視界の内側にあり視察可能であるため、ユーザＡのポインティングアノテーションは矢印５１１で示されている。また、ユーザＢが建物５０２をポインティングしているがこれはユーザＤの視野の外である。すなわち、ユーザＢのポインティング対象物がユーザＤの視野の外側にあるため、ユーザＢのポインティングアノテーションは線分５１３で示されている。この表示によりユーザＤは、ユーザＢのポインティング対象物を見るために、左方向を向けばよいことが分かる。

また、ユーザＣは山５０１の反対側の位置をポインティングしている。ユーザＣのポインティング対象物はユーザＤの視野の内側にあるが、ユーザＣがポインティングしている位置は見えず隠れているため、ユーザＣのポインティングアノテーションは途中から点線の矢印５１２で示されている。この表示によりユーザＤは、ユーザＣ自体を視察できないにもかかわらず、ユーザＣのポインティング対象物を見るために、山５０１の裏側に回ればよいことが分かる。

図５の（ｃ）は、ユーザＤがユーザＢのアノテーション対象物を見ようと、視野を図５の（ｂ）の状態から左方向に移した場合である。ユーザＤの視野の変化により、各ユーザのポインティングアノテーションが変化する。即ち、ユーザＡのポインティング位置（山５０１の部分）がユーザＤの視野の外側に移ったため、ユーザＡのポインティングアノテーションは線分５２１で示されている。また、ユーザＢのポインティング対象物（建物５０２）におけるポインティング位置がユーザＤの視野の内側に移ったため、ユーザＢのポインティングアノテーションは矢印５２２で示されている。ユーザＣのポインティング対象物（ポインティング位置）はユーザＤの視野の外側であり、かつ、裏側で見えないため、ユーザＣのポインティングアノテーションは途中から点線となる線分５２３で示されている。

なお、図５には示されていないが、ユーザの背後がポインティングされている場合は、視野画面の定点から下方向に向かう線分で示されるものとする。

このように、ユーザの視野内のある定位置５１０から他ユーザのポインティング位置までの矢印（５１１、５１２、５２２）、或いは定位置５１０から他ユーザのポインティング位置への方向を有する線分（５１３、５２１、５２３）を表示することにより、ユーザの位置関係やポインティング位置に関わらず、ユーザは容易にポインティング位置を知ることが可能である。

なお、ポインティングアノテーションとしての矢印や線分に対して、ユーザ毎の色づけを行なって表示するようにしてもよい。ユーザ毎の色づけは、アノテーション情報に付随するユーザＩＤによりユーザを識別し、色を割り当てていけばよい。このようにすれば、どのユーザによるポインティングアノテーションであるかが一目瞭然となる。或いは、ユーザを基準とした色分けではなく、ポインティングの状態を基準としてポインティングアノテーションを色分けすることも可能である。色分けするポインティングの状態としては、例えば、ポインティング位置が視野内にあって観察可能である状態（図５（ｂ）の矢印５１１）、視野内であるが観察できない状態（図５（ｂ）の矢印５１２）、視野外にあるが視線を変更すれば観察できる状態（図５（ｂ）の線分５１３）、視野外であって当該位置からは観察できない状態（図５（ｃ）の線分５２３）が挙げられる。また、ポインティング位置を当該視点位置から観察できるかできないかは、空間中の各オブジェクトとの前後関係等により判断できる。

また、矢印の始点の定位置を、図６に示すようにユーザごとに変えたり、図７に示すようにユーザの位置によって変えたりすることも可能である。図７（ａ）では、視界平面にの４角に設定した始点のうち、ユーザの位置に一番近い点をそのユーザに対応した矢印の始点としている。ただし図７（ｂ）のように、始点を視界平面の境界上に設定すると、ポインティングアノテーションが描画されない場合が生じる（図７（ｂ）のユーザＢ）ため、視界平面の境界上には設定しないことが望ましい。さらに、ポインティングアノテーションを矢印や線分で表現しているが、始点・終点を結ぶ他の仮想物体（２次元または３次元）で描画してもよい。また、その描画方法も他物体との隠蔽や奥行きを表現するために、半透明やグラデーションにより描画してもよい。

さらにＣＧ生成部１０４において、データ部１０５からアノテーションデータを取り出し、ユーザに提示するべきアノテーションを生成するようにしてもよい。このアノテーションデータは例えば仮想空間中のオブジェクトに関するアノテーションを表し、ユーザ操作入力部１０３からのユーザの要求に応じて、或いはユーザ操作入力部１０３からのユーザの要求なしに、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢に応じて生成される。この種のアノテーションは二次元のものに限られず、三次元形状を有するアノテーションを生成するよう設定することも可能である。

更に、ＣＧ生成部１０４はユーザ操作入力部１０３から送られるユーザの操作情報に従って仮想世界を操作したり、生成されるアノテーションを制御する機能を持たせることも可能である。

図１に戻り、ＣＧ生成部１０４は、生成したＣＧ（仮想物体、ポインティングアノテーション、アノテーションなどすべて）を映像表示部１０６に出力する。１０５はデータ部であり、例えばハードディスクやＣＤ−ＲＯＭ等の補助記憶装置または媒体を具備する。データ部１０５は仮想世界をＣＧで描画するために必要な仮想世界モデルデータと、現実世界と仮想世界とを正しく合成するために必要な現実世界モデルデータと、仮想世界映像を生成するために必要なデータおよび関連情報を保持する。

データ部１０５に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧデータ等といったものや、ユーザ視点映像入力部１０１が備える撮像装置の撮像素子の大きさや角度、レンズの画角や歪み係数等の内部パラメータ等が含まれる。さらに、ポインティングアノテーションに関する情報や、現実世界や仮想世界の付加情報である上述のアノテーションデータも含まれる。このようなアノテーションデータとしては、現実世界および仮想世界の物体が配置されている位置や姿勢の情報、物体の識別情報、物体の情報をユーザに示すためのテキストや記号、画像等のデータ、さらに、ある情報をユーザに表示するアルゴリズムも含まれる場合もある。

データ部１０５はＣＧ生成部１０４からの要求に応じて適切なデータをＣＧ生成部１０４に送出する。たとえばＣＧ生成部１０４がユーザ視点映像入力部１０１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部１０５は格納されている三次元ＣＧデータの中からユーザ視点映像入力部１０１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部１０５はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。さらにデータ部１０５は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じてＣＧ生成部１０４にデータを伝送する構成でもよい。

１０６は映像表示部であり、ここではビデオシースルーＨＭＤである。映像表示部１０６はユーザ視点映像入力部１０１によって獲得されたユーザが見る現実世界の映像と、ＣＧ生成部１０４によって生成されたＣＧとを合成して、その合成映像をユーザの目の前に表示する。画像表示装置に光学シースルー型のＨＭＤを用いる場合においては、ＣＧ生成部１０４によって生成されたＣＧをユーザの視野の現実世界に重畳して表示する。

伝送路２００は、有線または無線のコンピュータネットワークを実現する媒体からなり、複数の情報提示装置１００を接続し、情報提示装置１００が相互に交換するデータが流される。

以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は本実施形態の情報提示装置における処理の手順を説明するフローチャートである。

ステップＳ１１においてシステムが起動され、初期化のために必要な処理が行われる。ステップＳ１２では、ユーザ視点映像入力部１０１においてユーザの視点から見える現実世界の映像が取り込まれ、映像表示部１０６に送られる。なお、映像描画部１０６の画像表示装置に光学シースルー型のＨＭＤを備える場合には、ステップＳ１２の処理は不要となる。ステップＳ１３では、ユーザの視点での位置姿勢情報がユーザ視点位置姿勢計測部１０２において計測され、ＣＧ生成部１０４へと送られる。

ステップＳ１４では、ユーザ操作入力部１０３がユーザによる操作を認識し、当該操作内容に応じた制御信号を生成しＣＧ生成部１０４へ送る。ステップＳ１５において、通信データが伝送路２００へ送信される。通信データとしては、ポインティング情報を含め、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザ視点の位置姿勢情報、各ユーザの操作情報などが含まれる。

ステップＳ１６では、ＣＧ生成部１０４において、伝送路２００から通信データを受信する。ステップＳ１７において、ＣＧ生成部１０４は、データ部１０５から取得したデータを用いてＣＧを生成する。このＣＧにはユーザの視野内にある仮想物体、現実または仮想物体に対するアノテーション、ポインティングアノテーションなどが含まれる。

ステップＳ１７において、ＣＧ生成部１０４は、ステップＳ１３において獲得されたユーザ視点の位置姿勢情報に基づいてユーザの視点を設定し、ユーザ操作情報に応じてデータ部１０３に蓄積されているモデルデータから必要なデータ取り出し、その視点から見える仮想物体を生成する。さらに、その視点から見える仮想物体に対するアノテーションを、ユーザ操作入力部部１０３からのユーザ操作情報に応じて、またはユーザ操作情報があるなしに関わらず、ユーザの視野内に生成するなど、システムの構成に応じてＣＧを生成する。

さらにステップＳ１７において、ＣＧ生成部１０４は、ポインティングアノテーションを生成する。ポインティングアノテーションの生成処理について図４を参照して詳細に説明する。

ステップＳ３１では、受信した通信データに含まれる各ユーザのポインティング情報を入力する。ステップＳ３２では、ポインティング情報から、仮想空間におけるポインティング位置の３次元位置を算出する。ポインティングアノテーションは、上述した様にポインティング位置を視野平面上に投影した位置を終点とし、当該視野平面上の所定位置を始点とした矢印で表すことができるが、ここでは、３次元空間中にポインティングアノテーションオブジェクトを生成して表示する方法を説明する。まず、ステップＳ３３において、仮想空間中にポインティングアノテーションオブジェクトを生成する。このポインティングアノテーションオブジェクトの生成について、図８を参照しながら詳細に説明する。図８に示されるように、ポインティングアノテーションオブジェクト（Ｏ）は、仮想空間における「ポインティング始点位置（Ｓ）」と、仮想空間における「ポインティング位置（Ｐ）」とを結ぶ仮想オブジェクトである。ここで、仮想空間における「ポインティング始点位置（Ｓ）」は、「ユーザの視錐台８１の上面８２（ユーザ視点に近い方の面）上の、視界画面上のポインティングアノテーション始点位置に対応する点」として算出している。なお、仮想空間におけるユーザの視錐台は、ユーザの視点位置姿勢およびカメラ画角などから算出可能である。

ステップＳ３４では、ステップＳ３３で生成したポインティングアノテーションオブジェクトと、３次元空間内の物体との前後判定を行うなどして、ポインティングアノテーション（２次元または３次元）を生成する。例えば、ポインティングアノテーションがＭＲ空間内の物体で隠れる場合には、点線で描画したり（２次元）、半透明で描画する（２次元、３次元）など描画属性を与える。

図３に戻り、ステップＳ１８では、ステップＳ１２によって得られたユーザの視点位置からの現実世界の映像と、ステップＳ１７において生成された仮想世界の映像とを合成した映像を描画し、画像表示装置に出力する。映像表示部１０７が備える映像表示装置に光学シースルー型のＨＭＤを備えている場合には、仮想世界の映像を描画し、映像表示装置に出力する。ステップＳ１９において、情報提示装置１００は画像提示処理を終了するか否かを判定し、終了指示が無ければステップＳ１２に戻り、終了指示があれば本処理を終了する。

このように、各ユーザの視野のある定位置から、他ユーザのポインティング位置までの方向を表示することにより、位置やポインティング位置に関わらず、ポインティング位置を示すことが可能となる。本実施形態では、他のユーザに注目させたい対象を伝える、ＭＲ空間に特有の手段として説明した。

その他の実施形態として、例えば仮想空間の目印となる点を、ユーザに指し示す手段としても利用できる。仮想空間を動き回るユーザは、自分の現在の位置を見失う場合がある。その場合、原点やユーザにとって目印となる位置を、ポインティングアノテーションで表示することで、ユーザの向かうべき方向を案内することが可能となる。なお、ポインティングアノテーションの形態等は種々の変形が可能であることは明らかである。

以上のように、本実施形態の情報提示装置および情報提示方法によれば、複数人で共有する複合現実空間において、あるユーザが他のユーザに注目させたい対象をポイントすると、他の各ユーザの視野画面上に、ポインティング対象物の位置に関する情報が提示されることから、どこを注目すればよいのかが分かり、講演や協調を必要とする作業などを行うことが容易になる。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施形態による情報提示装置の概略構成を示すブロック図である。 複数の情報提示装置が伝送路を介して相互接続される場合の構成を示すブロック図である。 実施形態の情報提示装置による処理手順を説明するフローチャートである。 実施形態によるポインティングアノテーション生成の処理手順を説明するフローチャートである。 （ａ）は、実施形態における、各ユーザ（ユーザＡからユーザＤ）の位置関係および、ポインティングの様子の一例を表す図であり、（ｂ）、（ｃ）は、ユーザＤの視界にポインティングアノテーションが表示されている様子を示す図である。 実施形態によるポインティングアノテーション表示方法の一例を説明する図である。 （ａ）は実施形態によるポインティングアノテーション表示方法の一例を説明する図であり、（ｂ）はポインティングアノテーション表示方法の望ましくない例を説明する図である。 実施形態における、ポインティングアノテーションオブジェクトの生成を説明する図である。

Claims (11)

1. ３次元空間内のポイント位置をユーザに提示する情報提示方法であって、
   検出された視点位置及び視線方向に基づいて特定される仮想空間の視野範囲を視野平面に投影した画像を表示させる第１表示制御工程と、
   前記仮想空間内におけるポイント位置を特定する特定工程と、
   前記ポイント位置が前記視野範囲にある場合は該ポイント位置を明示するためのアノテーションを前記画像上に表示させ、該ポイント位置が該視野範囲外にある場合には該ポイント位置が存在する方向を示すアノテーションを表示させる第２表示制御工程とを備えることを特徴とする情報提示方法。
2. 前記第２表示工程は、前記ポイント位置が前記視野範囲にある場合に、該ポイント位置が前記検出された視点位置から直接観察可能な場合とそうでない場合とで、該ポイント位置を明示するアノテーションの表示形態を変えることを特徴とする請求項１に記載の情報提示方法。
3. 前記第２表示工程は、前記ポイント位置が前記視野範囲外にある場合に、該ポイント位置が前記検出された視点位置から直接観察可能な場合とそうでない場合とで、該ポイント位置の方向を示すアノテーションの表示形態を変えることを特徴とする請求項１に記載の情報提示方法。
4. 現実空間を撮影手段により撮影する撮影工程と、
   前記撮影手段の視点位置及び視線方向を検出する検出工程とを更に備え、
   前記第１表示工程は、前記検出工程で検出された視点位置及び視線方向に基づいて特定される仮想空間の視野範囲を視野平面に投影した画像と、前記撮影工程で得られた画像とを重畳して表示することを特徴とする請求項１乃至３のいずれかに記載の情報提示方法。
5. 前記第２表示工程は、
   前記視野範囲内の定点と前記ポイント位置とに基づいて前記仮想空間内にアノテーションを生成する生成工程を含み、
   前記生成工程で生成されたアノテーションを前記視野平面に投影することにより該アノテーションを前記画像上に表示させることを特徴とする請求項１乃至４のいずれかに記載の情報提示方法。
6. 前記第２表示工程は、前記視野平面上に設定された定点と、前記ポイント位置を該視野平面上に投影した点とに基づいて前記画像上にアノテーションを表示することを特徴とする請求項１乃至４のいずれかに記載の情報提示方法。
7. 前記ポイント位置を指定する情報を入力する入力工程を更に備えることを特徴とする請求項１乃至６のいずれかに記載の情報提示方法。
8. 複数のユーザによるポイント位置の指定情報を入力する入力工程を更に備え、
   前記第２表示工程はユーザ毎にアノテーションの表示態様を変化させることを特徴とする請求項１乃至６のいずれかに記載の情報提示方法。
9. ３次元空間内のポイント位置をユーザに提示する情報提示装置であって、
   検出された視点位置及び視線方向に基づいて特定される仮想空間の視野範囲を視野平面に投影した画像を表示させる第１表示制御手段と、
   前記仮想空間内におけるポイント位置を特定する特定手段と、
   前記ポイント位置が前記視野範囲にある場合は該ポイント位置を明示するためのアノテーションを前記画像上に表示させ、該ポイント位置が該視野範囲外にある場合には該ポイント位置が存在する方向を示すアノテーションを表示させる第２表示制御手段とを備えることを特徴とする情報提示装置。
10. 請求項１乃至８のいずれかに記載の情報提示方法をコンピュータに実行させるための制御プログラム。
11. 請求項１乃至８のいずれかに記載の情報提示方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。

Images