JP2004213350A - 力覚提示装置及び画像補正方法 - Google Patents

Abstract

【課題】力覚を提示する部分の厚みを考慮して仮想空間画像を補正することにより、仮想空間画像に応じて、力覚を提示する部位を適切に表示することができる力覚提示装置及び画像補正方法を提供する。
【解決手段】本発明の力覚提示装置及び画像補正方法は、各ジョイント部に配置されるエンコーダによって、ユーザの手及び指が基準姿勢及び実摘み位置にある場合における力覚提示手段の各ジョイント角度を検出し（ステップＳ３０１、Ｓ３０３）、検出データに基づいて各姿勢におけるユーザの指先位置を演算するとともに（ステップＳ３０２、Ｓ３０４）、仮想摘み位置における上記ジョイント角度を演算し、実摘み位置と仮想摘み位置との間におけるジョイント角度のずれ量を演算し（ステップＳ３０７）、このずれ量に基づいて、仮想空間画像を補正するための変換則を決定する（ステップＳ３０８）。
【選択図】 図２６

Description

【０００１】
【発明の属する技術分野】
本発明は、力覚提示装置及びその力覚提示装置における画像補正方法に関し、より詳細には、仮想空間（バーチャルリアリティ）システムにおいて利用される力覚提示装置及びその力覚提示装置における画像補正方法に関する。
【０００２】
【従来の技術】
従来の力覚提示装置は、モータなどのアクチュエータとクラッチを用いたもの（例えば、特許文献１参照）、エアや液体などの流体を利用したもの（例えば、特許文献２参照）、あるいは、ワイヤとそれを巻き取る電動機を利用したもの（例えば、特許文献３参照）などがあり、それらは、操作者と対象物との相互作用を弾性及び粘性を用いて表現している。
【０００３】
【特許文献１】
特開２０００−２４６６７４号公報
【特許文献２】
特開２０００−９９２４０号公報
【特許文献３】
特開平６−３２４６２２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献２又は３に記載されている従来の力覚提示装置のように、力覚提示部が力覚を提示する部位（例えば、指先など）を覆うように装着されている場合において、それらの部位の位置を検出し仮想空間画像内に取り込むとき、仮想空間内においてその容積や厚みを考慮して当該部位を表示しなければならないという問題があった。
【０００５】
すなわち、このような従来の力覚提示装置では、力覚提示部の厚みなどを考慮して仮想空間画像を生成及び表示していないため、力覚提示部の厚みよりも薄い仮想空間内の対象物、例えば、紙などを掴もう（摘もう）とした場合、実際に検出された指先の位置情報を用いると仮想空間画像を適切に表示することができず（すなわち、指先で紙を掴んでいるように表示することができず）、また、上記部位と上記対象物との相互作用を適切に提示できない（すなわち、上記部位と上記対象物の位置が干渉していると判断（判定）することができないために、その対象物に適した力覚を提示することができない）という問題があった。
【０００６】
本発明の目的は、仮想空間内に表示された力覚を提示される部位の厚みを考慮して仮想空間画像を補正することにより、仮想空間画像に応じて、力覚を提示する部位を適切に表示することができる力覚提示装置及び画像補正方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の一態様において、本発明の力覚提示装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
前記仮想空間画像に応じて、ユーザの指に与える力覚を発生する力覚発生手段と、
前記指に装着され、前記力覚発生手段によって発生された力覚を前記指に提示する力覚提示手段と、
前記力覚提示手段が装着された指先を対象物に接触させた際、前記表示手段によって表示される仮想空間画像において前記力覚提示手段の厚みを取り除くように、前記画像生成手段によって生成された前記仮想空間画像を補正する画像補正手段と、
を備えることを特徴とする。
【０００８】
本発明の力覚提示装置によれば、画像生成手段によって生成された仮想空間画像は、力覚発生手段によって発生される力覚が力覚提示手段を介してユーザの指に提示されるときに、この力覚提示手段を装着したユーザの指先と仮想空間中の対象物が接触しているように表示手段によって表示されるように、ユーザの指先に装着される力覚提示手段の厚みを取り除くように補正される。
【０００９】
また、本発明の別の実施形態における力覚提示装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
前記仮想空間画像に応じて、ユーザの指に与える力覚を発生する力覚発生手段と、
前記指に装着され、前記力覚発生手段によって発生された力覚を前記指に提示する力覚提示手段と、
前記力覚提示手段が装着された２本の指先を接触させた際、前記表示手段によって表示される仮想空間画像において前記力覚提示手段の厚みを取り除くように、前記画像生成手段によって生成された前記仮想空間画像を補正する画像補正手段と、
を備えることを特徴とする。
【００１０】
この力覚提示装置によれば、上述のユーザの指先と仮想空間中の対象物とが接触（干渉）する場合と異なり、ユーザの２本の指先が接触（干渉）する場合にも同様の作用を奏する。
したがって、本発明の力覚提示装置によって、仮想空間において、ユーザの指先などに装着された力覚提示部の厚み（バイアス）の影響を受けることなく、ユーザの位置・姿勢などの自然な状態を表現することができる。
【００１１】
ここで、前記表示手段は、前記ユーザが前記力覚提示手段を最初に装着したときに前記画像補正手段によって前記仮想空間画像が補正されるように、ユーザへの指示、例えば、メッセージなどを表示してもよく、あるいは、本発明の力覚提示装置は、音声によってユーザに指示を与えるように構成されてもよい。また、好ましくは、力覚提示手段が提示する前記力覚は、仮想空間画像における対象物からの反力に対応したものである。
【００１２】
なお、好ましくは、実空間において干渉することを考慮して、好ましくは、前記２本の指は、前記ユーザの親指と親指以外の指のいずれか１本の指であり、仮想空間画像が補正される前記２本の指先の一方は、親指以外の指のいずれか１本の指である。
ここで、好ましくは、前記力覚提示手段が装着された前記指の仮想空間における位置を検出する位置検出手段を更に備え、前記画像補正手段は、前記位置検出手段によって検出された前記２本の指先の位置情報に基づいて、前記力覚提示手段の厚みを取り除くよう構成される。
【００１３】
この場合において、前記位置検出手段は、前記力覚提示手段を装着したユーザの前記２本の指先が基準姿勢にある状態において、前記指先の仮想空間における位置を検出し、前記画像補正手段は、前記２本の指先を接触させたときの位置と前記基準姿勢における前記２本の指先の位置との相対的な位置情報、及び、前記力覚提示手段の厚みを取り除いた際の前記２本の指先の位置と前記基準姿勢における前記２本の指先の位置との相対的な位置情報に基づいて、前記仮想空間における前記２本の指先の一方の指先の位置が、前記基準姿勢の位置と前記力覚提示手段の厚みが取り除かれた場合の接触位置の間において他方の指先の位置から比例拡大された位置になるように、前記仮想空間画像を補正してもよい。ここで、好ましくは、前記基準姿勢は、前記ユーザが手を広げたときの姿勢である。
【００１４】
本発明の一実施形態において、前記画像補正手段は、前記力覚提示手段の厚みをオフセットとして前記仮想空間画像を補正するように構成されてもよい。
また、本発明の他の実施形態において、前記力覚提示手段は、複数のリンクと該リンク間を連結する複数の節とから構成されるアーム部と、前記指に装着する力覚提示部と、前記アーム部と前記力覚提示部とを連結する連結部とから構成され、前記力覚発生手段は、前記複数の節にそれぞれ配置されるモータである複数のアクチュエータから構成されてもよい。
【００１５】
このような場合において、前記位置検出手段は、前記複数のモータの出力軸に連結された複数のエンコーダによって、前記複数のモータのそれぞれの回転角度を検出することによって前記指先の位置を検出するように構成されてもよい。そして、本発明の力覚提示装置は、前記位置検出手段によって検出された前記指の仮想空間における位置情報及び予め設定されている仮想空間内の対象物の位置情報に基づいて、前記指が該対象物と干渉しているか否かを判定する干渉判定手段と、
前記干渉判定手段によって前記指と前記対象物とが干渉していると判定された場合には、前記対象物の物性データ及び状態量データに基づいて、前記指に提示する作用力を演算する演算手段とを更に備え、
前記力覚発生手段は、前記演算手段の演算結果に基づいて、前記力覚提示手段によって前記ユーザの指先に提示する力覚を発生するように構成してもよい。
【００１６】
さらに、本発明の力覚提示装置は、前記力覚提示手段の所定の一方向への移動を規制する移動規制手段と、
前記移動規制手段の作動／不作動を切り替えるクラッチ機構と、
前記演算手段によって演算された作用力が前記予め設定された所定の閾値を超えているか否かを判別する判別手段とを更に備え、
前記クラッチ機構は、前記判別手段の判別結果に基づいてそのオン／オフを切り替えることにより、前記移動規制手段を作動させあるいは不作動とするように構成してもよい。
【００１７】
また、好ましくは、本発明の力覚提示装置は、少なくとも前記対象物の位置情報データ、前記物性データ及び前記状態量データを記憶する記憶手段を更に備える。さらに、好ましくは、前記画像生成手段は、前記位置検出手段によって検出された前記指の仮想空間における位置情報に基づいて、所定の時間間隔で前記仮想空間画像を更新して生成し、前記表示手段は、前記指の移動にともなって更新された前記仮想空間画像を連続的に表示する。なお、前記表示手段は、顔面に装着して使用するものであってもよい。
【００１８】
また、上記課題を解決するために、本発明の別の態様において、本発明の画像補正方法は、仮想空間画像を生成し、生成された仮想空間画像を表示し、前記仮想空間画像に応じて、ユーザの指に与える力覚を発生してその指に装着された力覚提示部によってその力覚を前記指に提示する力覚提示装置の画像補正方法であって、
前記力覚提示部を装着した前記ユーザの指先を対象物に接触させたときに表示される仮想空間画像において、前記力覚提示部の厚みが取り除かれて前記指先が前記対象物に接触しているように、前記仮想空間画像を補正することを特徴とする。
あるいは、前記力覚提示部を装着した前記ユーザの２本の指先を接触させたときに表示される仮想空間画像において、前記力覚提示部の厚みが取り除かれて前記２本の指先が接触しているように、前記仮想空間画像を補正することを特徴とする。
【００１９】
本発明の画像補正方法によれば、仮想空間において、ユーザの指先などに装着された力覚提示部の厚みの影響を受けることなく、ユーザの位置・姿勢などの自然な状態を表現することができる。
また、好ましくは、本発明の画像補正方法は、前記力覚提示部を装着した前記ユーザの指の仮想空間における位置を検出し、検出された前記指先の位置情報に基づいて、前記力覚提示部の厚みを取り除くように前記仮想空間画像を補正する。これにより、仮想空間におけるユーザの指先の位置を正確に検出して、それに基づいて上記力覚提示部の厚みを取り除くことができ、上記と同様に、仮想空間において、ユーザの指先などに装着された力覚提示部の厚みの影響を受けることなく、ユーザの位置・姿勢などの自然な状態を表現することができる。
【００２０】
この場合、前記力覚提示部を装着したユーザの前記２本の指先が基準姿勢にある状態において前記指先の仮想空間における位置を検出するとともに、前記２本の指先を接触させた状態における前記指先の位置を検出し、前記２本の指先の接触状態における位置情報に基づいて、前記力覚提示部の厚みを取り除いた際の前記仮想空間における前記２本の指先の位置を演算し、前記基準姿勢にある状態の前記指先の位置と前記接触状態における前記指先の位置又は前記演算された指先の位置との相対的な位置情報に基づいて、前記仮想空間における前記２本の指先の一方の指先の位置が、前記基準姿勢における位置と前記力覚提示部の厚みが取り除かれた場合の接触位置の間において他方の指先の位置から比例拡大された位置になるように、前記仮想空間画像を補正してもよい。
また、上記の画像補正方法の代わりに、前記力覚提示部の厚みをオフセットとして前記仮想空間画像に表示する前記２本の指先の一方の指先の位置を補正してもよい。
【００２１】
【発明の実施の形態】
以下、本発明の力覚提示装置及び画像補正方法を添付図面に示す好適実施形態に基づいて詳細に説明する。なお、この実施の形態は例示として挙げるものであり、これにより本発明を限定的に解釈すべきではない。
図１は、本発明の力覚提示装置の第１実施形態及びその力覚提示装置を有する力覚提示システムの構成例を示す概念図、図２は、図１に示すリアルグローブ（力覚提示装置）の回路構成例を示すブロック図である。図３は、図１に示すリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【００２２】
図１に示すように、力覚提示システム１は、ユーザ（使用者）の手（指）に装着され、装着された手や各指に対して触覚（触った感覚、例えば、質感、形状、強さ等の接触強度の分布）や力覚（触ったときに加わる力の感覚）を与える一対のリアルグローブ（データグローブ）２０、２０と、仮想空間画像（仮想空間映像）を表示する仮想空間表示装置（表示装置）５と、各リアルグローブ２０及び仮想空間表示装置５の駆動制御等の種々の処理を行う情報処理装置８と、仮想空間画像を作成し、仮想空間画像を用いた各種のサービスを提供する基地局９とを備えている。
【００２３】
各リアルグローブ２０、仮想空間表示装置５、情報処理装置８及び基地局９は、それぞれ、無線（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、赤外線データ通信（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈなど）で信号の送信及び受信（無線通信）を行うことができる無線通信機能（通信手段）を有しており、情報処理装置８と、各リアルグローブ２０、仮想空間表示装置５及び基地局９との間で、それぞれ、通信を行うことができるようになっている。
【００２４】
この力覚提示システム１は、基地局９、仮想空間表示装置５及び各リアルグローブ２０から供給された情報に基づいて情報処理装置８によって作成（生成）された仮想空間画像を仮想空間表示装置５に表示し、リアルグローブ２０を装着した手や指を動作させることによってその手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置５に表示するとともに、リアルグローブ２０を装着した手や各指に接触したときの触覚や力覚を与えるための各処理を行う。
【００２５】
情報処理装置８は、例えば、携帯電話端末、無線通信機能を有するパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）と呼ばれる携帯型情報機器などの、無線通信機能（通信手段）及び制御機能を備えた各種の装置により構成される。
また、基地局９は、例えば、インターネットに接続されている各種サーバコンピュータ、携帯電話端末と無線通信を行う携帯電話基地局などの、仮想空間画像に関する情報を提供する各種の装置により構成される。
【００２６】
なお、本実施形態では、各リアルグローブ２０、仮想空間表示装置５、情報処理装置８及び基地局９が無線通信機能を有する構成としているが、例えば、その一部又はすべてが有線通信を行う構成とされていてもよい。
また、情報処理装置８が、基地局９の機能の一部又はすべてを有していてもよい。後述する図２４の力覚提示処理（力覚提示方法）では、便宜的に情報処理装置８に基地局９のすべての機能が含まれるものとして説明する。
【００２７】
また、リアルグローブ２０が、仮想空間表示装置５、情報処理装置８及び基地局９の機能の一部又はすべてを有していてもよい。
ここで、力覚提示装置２は、本実施形態では、一対のリアルグローブ２０、２０、すなわち、ユーザの左手に装着される左手用のリアルグローブ２０と、ユーザの右手に装着される右手用のリアルグローブ２０とで構成されている。以下の説明では、代表的に一方のリアルグローブ２０を説明する。
【００２８】
なお、本発明では、力覚提示装置２は、一方のリアルグローブ２０で構成されていてもよい。
また、本発明では、力覚提示装置２は、リアルグローブ２０の他に、仮想空間表示装置５、情報処理装置８及び基地局９のうちの、いずれか１つ又は２つ、あるいは、すべてを有していてもよい。この場合、力覚提示装置２は、それらの有する機能の一部を有していてもよく、また、すべてを有していてもよい。
【００２９】
図２に示すように、リアルグローブ２０は、仮想空間に現れている（仮想空間画像上の）物体（対象物）に接触した指の感覚（例えば、質感、形状、強さ等の接触強度の分布）を発生させるための触覚発生部（触覚発生手段）２１と、仮想空間に現れている物体に接触したときに手や指にかかる力の強さの感覚を発生させるための力覚発生部（力覚発生手段）２２と、リアルグローブ２０の各部の位置（リアルグローブ２０を装着した手、手首、腕、指等の各部の位置）を検出する位置姿勢検出部２３と、リアルグローブ２０の各部を制御する制御部２４と、情報処理装置８に送信するための信号の増幅等の信号処理を行う信号処理部２５と、情報処理装置８との間で無線通信を行うための信号送受信部２６とを有している。
また、図３に示すように、リアルグローブ２０の全体形状は、略長手袋状（手袋状）をなしている。すなわち、リアルグローブ２０は、その装着者（ユーザ）の指から腕の肘近傍まで（指から腕にかけて）装着する手袋状の装着手段として、腕を覆う筒状部２０ａを備えた比較的長い手袋２ａを有している。
【００３０】
ユーザは、この手袋２ａにより、リアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができる。
また、手袋２ａはユーザの手から腕にかけて装着されるので、仮想空間における動作（操作）を容易かつ確実に行うことができる。
この手袋２ａには、指先に対応する部分の遊びを抑制又は防止する遊び吸収部２７と、リアルグローブ２０を手首に固定する手首固定部２８と、該リアルグローブ２０を腕に固定する腕固定部２ｄと、腕に対応する部分のねじれを吸収するねじれ吸収部２９とが、それぞれ設けられている。
【００３１】
遊び吸収部２７は、手袋２ａの手首付近に対応する部分に設けられている。この遊び吸収部２７は、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、遊び吸収部２７の復元力（弾性力）により、手袋２ａは、肘方向（基端側）に引っ張られ、その状態で保持される。これにより、指先に遊びができてしまうのを防止又は抑制することができる。また、指の長さ等の手の寸法の異なる複数のユーザが使用する場合においても、遊び吸収部２７により、それぞれ各ユーザにおいて、指先に遊びができてしまうのを防止又は抑制することができる。
【００３２】
手首固定部２８は、手袋２ａの前記遊び吸収部２７の肘側（基端側）に、遊び吸収部２７に連続して設けられている。この手首固定部２８は、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、手首固定部２８の復元力（弾性力）により、手袋２ａは、手首に固定される。これにより、使用中にリアルグローブ２０がずれてしまうのを防止することができる。
また、この手首固定部２８や前記遊び吸収部２７により、後述する触覚発生部２１のアクチュエータワイヤ２１２の束２１２ａは、各アクチュエータワイヤ２１２がそれぞれその長手方向に移動し得るように所定の位置に保持される。
【００３３】
腕固定部２ｄは、手袋２ａの筒状部２０ａの肘側（基端側）の端部に設けられている。この腕固定部２ｄは、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、腕固定部２ｄの復元力（弾性力）により、手袋２ａは、腕に固定される。これにより、使用中にリアルグローブ２０がずれてしまうのを防止することができる。
【００３４】
ねじれ吸収部２９は、手袋２ａの筒状部２０ａの途中、すなわち、前記手首固定部２８と腕固定部２ｄとの間に設けられている。
このねじれ吸収部２９は、筒状部２０ａの一部に３つの開口２９２を形成して得られる３本の帯状部２９１で構成されている。各帯状部２９１は、それぞれ、例えば、伸縮性のある材料で構成された布等の伸縮性のある部材で形成される。
【００３５】
ユーザがリアルグローブ２０を装着し、例えば、手首をねじる動作をすると、各帯状部２９１が伸縮、変形し、これにより、筒状部２０ａのねじれが吸収される。
このように、ねじれ吸収部２９により、リアルグローブ２０のねじれを防止することができ、このため、ユーザは、手や腕を容易かつ円滑に動かすことができる。
【００３６】
なお、ねじれ吸収部２９の帯状部２９１の数は、２本以下でもよく、また、４本以上でもよい。
また、手袋２ａの各指の背側の各関節に対応する部分には、それぞれ、開口２１ａが形成されている。
これらの開口２１ａにより、ユーザは、各指の各関節をそれぞれ容易かつ円滑に動かすことができる。
【００３７】
また、このリアルグローブ２０には、手袋２ａの腕に対応する部分であって、前記ねじれ吸収部２９よりも肘方向に位置する部分、すなわち、手袋２ａの筒状部２０ａの肘側（基端側）の端部に、制御部２４、電力供給部３０、動力発生部２１１などが設けられている。
これら制御部２４、電力供給部３０及び動力発生部２１１の配置を前記のようにすることにより、リアルグローブ２０の指先側（先端側）の重量を軽く（慣性を小さく）することができ、これにより、ユーザは、動作（操作）を容易に行うことができる。
【００３８】
触覚発生部２１の主要部は、ユーザがリアルグローブ２０を装着したときに、ユーザの各指の第１関節（末節骨と中節骨との間の関節）から先の指先部分を覆う位置にそれぞれ設けられている。なお、各触覚発生部２１の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの１つについて説明する。
図４は、触覚発生部２１の構成例を示す縦断面図である。なお、図が煩雑になるのを避けるため、図中、一部、部材の厚みを省略して図示する。
【００３９】
触覚発生部２１は、図４（Ａ）に示すように、モータ（駆動源）２１１ａを備える動力発生部（移動手段）２１１と、長手方向に移動可能に設置されたアクチュエータワイヤ（可撓性を有する線状体）２１２と、アクチュエータワイヤ２１２の一端を保持するワイヤ保持部（付勢手段）２１３と、触覚を発生させるために指腹を押圧する触覚提示ピン（押圧部）２１４と、触覚提示ピン２１４を支持するとともに触覚提示ピン２１４の移動方向を規制する触覚提示ピン支持部（移動方向規制手段）２１５とで構成される複数の単位触覚発生部（アクチュエータ）２１０を有している。各単位触覚発生部２１０は、互いに独立している。
なお、前記動力発生部２１１と、アクチュエータワイヤ２１２と、触覚提示ピン支持部２１５とで、触覚提示ピン２１４を駆動する駆動機構が構成される。
【００４０】
動力発生部２１１は、例えば、制御部２４からの制御信号に応じて内部に備えるモータ２１１ａを回転駆動し、そのモータ２１１ａの回転駆動によってアクチュエータワイヤ２１２を巻き取る処理（アクチュエータワイヤ２１２をアクチュエータワイヤ２１２の長手方向に移動させる処理）を行う。制御部２４は、情報処理装置８からの指示に従って、モータ２１１ａの回転駆動が所定のトルクで所定時間なされるように動力発生部２１１を制御する。動力発生部２１１は、情報処理装置８からの指示に従ってモータ２１１ａに回転動力を与えることで、アクチュエータワイヤ２１２を所定の長さ巻き取る処理を行う。
ワイヤ保持部２１３は、図４（Ａ）に示すように、この実施形態では指の第１関節の近傍でアクチュエータワイヤ２１２の一端（終端）を保持する。このワイヤ保持部２１３は、例えばゴムやバネなどの弾性を有する部材（弾性体）により構成される。
【００４１】
従って、動力発生部２１１のモータ２１１ａの駆動によりアクチュエータワイヤ２１２が巻き取られ、そのアクチュエータワイヤ２１２が図４（Ａ）中の時計回りに移動すると、それに伴ってワイヤ保持部２１３が伸張し、アクチュエータワイヤ２１２は、ワイヤ保持部２１３の復元力（弾性力）により、図４（Ａ）中の反時計回りの方向（触覚提示ピン２１４を突出させるときのアクチュエータワイヤ２１２の移動方向と逆方向）に付勢される。そして、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、ワイヤ保持部２１３が復元力（弾性力）によって収縮し、これにより、巻き取られていたアクチュエータワイヤ２１２が引き出され、図４（Ａ）中の反時計回りに移動する。
なお、動力発生部２１１は、アクチュエータワイヤ２１２の他端（始端）側に位置している。
【００４２】
触覚提示ピン２１４は、ユーザの指腹に接触感覚（接触の有無や強さ等）を与えるために用いられ、指腹に接触する部分である微小な接触板（接触部）２１４ａと、接触板２１４ａを支持する支持部２１４ｂとで構成される。支持部２１４ｂは、その一端がアクチュエータワイヤ２１２の途中に固定され、その他端に接触板２１４ａが設けられている。
【００４３】
この実施形態では、図４（Ａ）に示すように、リアルグローブ２０の手袋２ａは、指先を装着する（覆う）装着部が２重構造（例えば布などの部材を２枚重ね合わせて、重ね合わせた２枚の部材の間に何らかの部材が収納し得るような構造）になっており、指先を覆っている部分の内部（２重構造の内部）に、前記アクチュエータワイヤ２１２の一部、ワイヤ保持部２１３及び支持部２１４ｂと、触覚提示ピン２１４のアクチュエータワイヤ２１２の移動方向への移動を規制する触覚提示ピン支持部２１５とが設けられている。そして、指が収納される手袋２ａ内に、支持部２１４ｂの一端側が突出し、接触板２１４ａが位置している。
この実施形態では、その接触板２１４ａは、リアルグローブ２０を装着した手の指先に常に接触した状態となっている。なお、これに限らず、接触板２１４ａが指先から離間した状態（接触板２１４ａと指先とが非接触の状態）をとり得るように構成されていてもよい。
【００４４】
図４（Ａ）では、説明を簡単にするため、１つの単位触覚発生部２１０（１つの触覚提示ピン２１４）が代表して示されているが、前述したように、実際には、触覚発生部２１は、複数の単位触覚発生部２１０を有しており、その複数の触覚提示ピン２１４は、ユーザがリアルグローブ２０を装着したときのユーザの指先の指腹に対応する位置に、例えば、指腹に沿って、かつ指腹に対し行列状（マトリックス状）に配置されている。
【００４５】
各触覚提示ピン２１４の前後には、それぞれ、その触覚提示ピン２１４の支持部２１４ｂのアクチュエータワイヤ２１２の移動方向への移動を制限する触覚提示ピン支持部２１５が設けられている。
なお、前記各触覚提示ピン２１４は、規則的に配置されていてもよく、また、不規則に配置されていてもよい。
【００４６】
次に、触覚発生部２１による触覚発生動作について説明する。
ユーザがリアルグローブ２０を装着し、手や指を動かすことによって仮想空間に現れている物体（仮想物体）、すなわち対象物に、その指先（指腹）が仮想的に接触すると、情報処理装置８は、後述する演算処理部８１によって、対象物の物性データ及び物理特性などに基づいて、実際に接触があったとした場合の押圧力を計算し、その計算結果に基づいて動力発生部２１１のＰＷＭデータ（例えば、モータ２１１ａを回転させるための励磁パターンを示すデータ）に変換する。
【００４７】
この場合、前記仮想空間（３次元空間）において、予め、互いに直交するＸ軸、Ｙ軸及びＺ軸、すなわちＸ−Ｙ−Ｚ座標（３次元座標）が想定されており、前記物体の座標（位置情報）と、前記ユーザの指先の座標（位置情報）との一致を検出し、その一致が検出されると、物体の前記座標に相当する部位とユーザの指先の前記座標に相当する部位とが接触したと判別する。ユーザの指先の座標は、後述する位置姿勢検出部２３から信号送受信部２６を介して情報処理装置８に送信される信号（情報）に基づいて導出される。
【００４８】
次いで、情報処理装置８は、導出したＰＷＭデータと、実際に接触があったとした場合の接触位置に押圧力を与える接触板２１４ａを動作させる動力発生部２１１を特定（指定）するためのデータとを、リアルグローブ２０に送信する。リアルグローブ２０は、受信したＰＷＭデータに応じて、指定された動力発生部２１１を駆動し、アクチュエータワイヤ２１２を巻き取る。
アクチュエータワイヤ２１２が巻き取られると、指腹に配されているアクチュエータワイヤ２１２が指腹に沿って指の先端方向に向けて移動し、図４（Ｂ）に示すように、アクチュエータワイヤ２１２に取付固定されている触覚提示ピン２１４も、指腹に沿って指の先端方向に向けて移動する。
【００４９】
この際、図４（Ｃ）に示すように、触覚提示ピン２１４は、触覚提示ピン支持部２１５によって指の先端方向への移動が制限されるとともに、触覚提示ピン支持部２１５にガイドされて、図４（Ｃ）中上側へ移動する（指腹に向って突出する）。すなわち、触覚提示ピン２１４の接触板２１４ａが指腹の表面に対しほぼ垂直上方に移動する。触覚提示ピン２１４の支持部２１４ｂは、待機時には（初期状態では）、図４（Ｂ）に示すように、垂直方向から指の先端方向に傾斜しており、前記接触板２１４ａがほぼ垂直上方に移動しようとする力が働くことで、その接触板２１４ａが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【００５０】
この動作が、複数の単位触覚発生部２１０のうちの指定された単位触覚発生部２１０でなされ、これにより、ユーザの手の指腹に触覚が提示される（与えられる）。よって、ユーザは、仮想空間画像における指腹の物体（対象物）への接触に相当する感覚を、指腹に得ることができる。
前記指定された単位触覚発生部２１０において、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、ワイヤ保持部２１３が復元力（弾性力）によって収縮し、これにより、巻き取られていたアクチュエータワイヤ２１２が引き出される。
【００５１】
アクチュエータワイヤ２１２が引き出されると、指腹に配されているアクチュエータワイヤ２１２が指腹に沿って指の基端方向（図４（Ｃ）中右側）に向けて移動し、アクチュエータワイヤ２１２に取付固定されている触覚提示ピン２１４も、指腹に沿って指の基端方向に向けて移動し、触覚提示ピン２１４は、図４（Ｂ）に示す初期状態に戻る。これにより、触覚提示ピン２１４からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
【００５２】
このような触覚発生部２１によれば、指腹に対してほぼ平行に（指腹に沿って）アクチュエータワイヤ２１２を配置し、そのアクチュエータワイヤ２１２を巻き取ることによって指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
また、アクチュエータワイヤ２１２の弛みを防止することができ、触覚提示ピン２１４からユーザの指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【００５３】
図５及び図６は、それぞれ、力覚発生部２２の構成例を示す外観図である。なお、図５は、フレームカバーが取り外された状態を示す。
図５に示すように、力覚発生部２２は、リアルグローブ２０を装着したときのユーザの各指の背側に設けられている。なお、力覚発生部２２の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの１つについて説明する。
力覚発生部２２は、回動可能に連結された複数（本実施形態では６つ）のフレーム２２１を備えたリンク機構と、各フレーム２２１を回動させる複数（本実施形態では７つ）のリンクモータ（駆動源）２２２と、手袋２ａに設けられた複数（本実施形態では４つ）のフレームホルダ２ｂとを有している。
【００５４】
前記フレームホルダ２ｂは、ユーザがリアルグローブ２０を装着したとき、ユーザの指の第１関節より先端側に位置する装着部と、第１関節と第２関節（中節骨と基節骨との間の関節）との間に位置する装着部と、第２関節と第３関節との間に位置する装着部と、第３関節（基節骨と中手骨との間の関節）より基端側に位置する装着部とに、それぞれ、設けられている。
リンク機構は、前記フレームホルダ２ｂによって、手袋２ａの、リアルグローブ２０を装着したときのユーザの指の背側に取り付けられている。
【００５５】
すなわち、リンク機構の先端側（図５中右側）の端部のフレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第１関節より先端側の部位にその端部が位置するように配置され、このフレーム２２１の先端部は、フレームホルダ２ｂに対し、回動可能に設置されている。
また、リンク機構の基端側（図５中左側）の端部のフレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第３関節より基端側の部位にその端部が位置するように配置され、このフレーム２２１の基端部は、フレームホルダ２ｂに対し、回動可能に設置されている。
【００５６】
また、リンク機構の残りの各フレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第１関節と第２関節との間の部位と、第２関節と第３関節との間の部位とに、フレーム連結部が１つおきに位置するように配置され、この１つおきのフレーム連結部において、フレームホルダ２ｂに対し、回動可能に設置されている。
【００５７】
各リンクモータ２２２の駆動力（回転力）は、それぞれ、図示しない動力伝達部を介して、対応するフレーム２２１に伝達される。すなわち、リンクモータ２２２が所定方向に回転駆動すると、対応するフレーム２２１は、所定方向に回動し、これにより、フレーム２２１の角度が変更（調整）される。
なお、図５には、前述したアクチュエータワイヤ２１２の束２１２ａが示されている。
【００５８】
力覚発生部２２の各フレーム２２１や各リンクモータ２２２は、それぞれ、図６に示すように、例えば布製のフレームカバー２ｃの中に収納されている。
また、図６に示すように、フレームカバー２ｃの内側には、手や指の所定の部位の位置及び姿勢を検出する複数（本実施形態では４つ）の位置姿勢検出部（位置検出手段）２３が設置されている。各位置姿勢検出部２３は、それぞれ、位置及び姿勢を検出する部位（検出位置）の近傍、すなわち、指の関節の近傍に対応する部位に、前記検出位置に対して一定の位置関係を保持し得るように設けられている。
【００５９】
すなわち、各位置姿勢検出部２３は、それぞれ、本実施形態では、フレームホルダ２ｂが設けられている位置に固定されている各リンクモータ２２２に取付固定されている。従って、各位置姿勢検出部２３が設けられている部位と、ユーザの手のひら側の所定の部位（検出位置）との位置関係は、一定に保たれる。よって、位置姿勢検出部２３が自己の位置や姿勢を検出することによって、ユーザの手の平側の所定の部位の位置や姿勢を容易かつ正確に導出することができる。
また、各位置姿勢検出部２３は、それぞれ、手の甲側に配置されているので、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
【００６０】
また、図３に示すように、位置姿勢検出部２３は、ユーザがリアルグローブ２０を装着したとき、リアルグローブ２０の腕の基端側の部位に相当する位置にも設置されている。
これら位置姿勢検出部２３により、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を確実に把握することができる。
【００６１】
なお、上述のような位置姿勢検出部２３の代わりに、図示していないが、各指のリンク機構に配置される各リンクモータ２２２にエンコーダを接続し、リンクモータ２２２と動力伝達部の間には、ワンウェイクラッチ及びこのワンウェイクラッチを作動／不作動制御するクラッチ機構が挿入されていてもよい。
この場合、リンクモータ２２２の回転角度とジョイント部（節）の回転角度が一致しているので、リンク機構の各ジョイント部の角度が検出でき、各リンクモータ２２２のジョイント回転角度に基づいて、手の甲からの相対的な指の位置を特定することができる。
【００６２】
次に、力覚発生部２２による力覚発生動作について説明する。
ユーザがリアルグローブ２０を装着し、手や指を動かすことによって仮想空間に現されている物体（仮想物体）、すなわち対象物に、その手や指が仮想的に接触すると、情報処理装置８は、後述する演算処理部８１によって、対象物の物性データ及び物理特性などに基づいて、実際に接触があった場合の前記物体から指（指の各関節）への反力を計算し、その計算結果に基づいて各リンクモータ２２２のＰＷＭデータ（例えば、リンクモータ２２２を回転させるための励磁パターンを示すデータ）に変換する。
ここで、前記物体とユーザの手や指との接触の判別は、前記触覚発生部２１の場合と同様である。
【００６３】
情報処理装置８は、導出した各ＰＷＭデータと、駆動させる各リンクモータ２２２を示すデータとをリアルグローブ２０に送信する。リアルグローブ２０は、受信したデータに応じて、指定された各リンクモータ２２２を所定方向に回転駆動し、対応する各フレーム２２１を所定方向に回動させ、各フレーム２２１の角度を調整、すなわち、リンク機構の両端部のフレーム２２１の角度及び各フレーム連結部の角度をそれぞれ調整する。
このフレーム２２１の角度調整により、所定のフレームホルダ２ｂにそれぞれ所定の大きさの力が加わり、これにより、前記仮想空間に現されている物体からの反力に対応する力がユーザの指の各関節に与えられる。すなわち、指の各関節に対して力覚が提示される（与えられる）。
【００６４】
ここで、この力覚発生部２２は、指の複数の部位に装着する複数の装着部間の間隔を調節する機能を有している（調節手段を兼ねている）。
例えば、図５に示すように、所定のフレーム２２１を回動させ、フレーム２２１の角度を調整することにより、各フレームホルダ２ｂ間の間隔を長くしたり、又は、短くしたりすることができる。
【００６５】
また、ワンウェイクラッチ及びクラッチ機構が取り付けられている場合において、情報処理装置８で算出された反力が所定の閾値よりも大きいときには、クラッチ機構のコイルが通電され、ワンウェイクラッチが所定の方向への回転をロックするようにクラッチ機構がオンする。これにより、ユーザは、その位置よりもロックされた所定の方向へ指を移動することができず、大きな反力（ここでは、ユーザが対象物を押したときの力そのもの）を得ることができる。すなわち、ワンウェイクラッチ及びクラッチ機構によって、力覚発生部２２は、大きな反力を表現することができる。
【００６６】
図７は、位置姿勢検出部２３の構成例を示すブロック図である。位置姿勢検出部２３には、本実施形態では、直交コイル式（直交コイル型）の位置センサ（位置検出手段）が用いられる。すなわち、位置姿勢検出部２３は、図７に示すように、中心軸が互いに直交するＸ方向検出コイル（第１のコイル）２３１と、Ｙ方向検出コイル（第２のコイル）２３２と、Ｚ方向検出コイル（第３のコイル）２３３とで構成される。なお、Ｘ方向（Ｘ軸方向）と、Ｙ方向（Ｙ軸方向）と、Ｚ方向（Ｚ軸方向）とは、互いに直交している。
一方、情報処理装置８には、磁界を発生する後述する磁界発生部８８が設けられている。この磁界発生部８８には、例えば、前記位置姿勢検出部２３とほぼ同じ構成のもの、すなわち、直交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ方向コイル）が用いられる。
【００６７】
この磁界発生部８８で発生した磁界は、位置姿勢検出部２３で検出される。この場合、磁界発生部８８のＸ方向コイル、Ｙ方向コイル及びＺ方向コイルから、順次、磁界を発生し、それぞれを、位置姿勢検出部２３のＸ方向検出コイル２３１、Ｙ方向検出コイル２３２及びＺ方向検出コイル２３３の３つのコイルで検出する。
【００６８】
位置姿勢検出部２３によってＸＹＺ各方向について検出された各信号（検出データ）は、それぞれ、信号処理部２５の増幅部２５１において増幅され、Ａ／Ｄ変換部２５２においてデジタル信号に変換された後、図２に示す信号送受信部２６に出力され、この信号送受信部２６を介して情報処理装置８に送信される。
情報処理装置８では、リアルグローブ２０から送信された信号を受信し、その信号（情報）に基づいて、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢、すなわち、前記各部の座標を導出し、その情報を所定の各処理において利用する。
このように、位置姿勢検出部２３を設けることにより、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を正確かつ確実に求めることができる。
【００６９】
仮想空間表示装置５には、この実施形態では、顔面に装着して使用する形態のもの、すなわち、ＨＭＤ（ヘッドマウントディスプレイ）と呼ばれる眼鏡状の装置が用いられる。図８は、仮想空間表示装置５の外観構成例を示す斜視図、図９は、仮想空間表示装置５の回路構成例を示すブロック図である。
仮想空間表示装置５は、装着者（ユーザ）に対して仮想空間画像を表示する画像表示部５１ａ、５１ｂと、装着者の視線を検出する視線検出部５２ａ、５２ｂと、周囲を撮像し、その周囲の画像（映像）を取り込む凹凸入力部５３ａ、５３ｂと、装置全体の制御を行う制御部５４と、情報処理装置８と信号を送受信する信号送受信部５５と、位置姿勢検出部５６と、装着部５７と、信号処理部５８とを備えている。以下、左右対称の構成要素については、いずれかのみを代表して説明する。
【００７０】
図１０は、仮想空間表示装置５の凹凸入力部５３ａの構成例を示す図（ブロック図、模式図）である。この図１０に示すように、凹凸入力部５３ａは、レンズ５３１と、ＣＣＤ（撮像素子）５３２と、ＣＣＤ制御部５３３と、ＣＣＤ出力増幅部５３４とを有している。
レンズ５３１に入射した光（光束）は、そのレンズ５３１により、ＣＣＤ５３２の受光面（撮像面）上に導かれて結像し、その被写体像（周囲の像）は、ＣＣＤ５３２により撮像される。このＣＣＤ５３２の駆動は、ＣＣＤ制御部５３３により制御される。
【００７１】
ＣＣＤ５３２から出力された信号は、ＣＣＤ出力増幅部５３４で増幅され、その後、凹凸入力部５３ａから出力され、図９に示す信号処理部５８に入力される。そして、信号処理部５８において所定の信号処理がなされ、信号送受信部５５を介して情報処理装置８に送信される。
なお、凹凸入力部５３ｂの構成及び作用は、前記凹凸入力部５３ａと同様であるので、その説明は、省略するが、この凹凸入力部５３ｂと、前記凹凸入力部５３ａとでは、略同じ領域が撮像される。
【００７２】
図１１は、仮想空間表示装置５の画像表示部５１ａの構成例を示す図（ブロック図、模式図）である。この図１１に示すように、画像表示部５１ａは、レンズ５１１と、レンズ５１１を移動させるレンズ移動機構５１２と、ステッピングモータ５１３と、モータ制御部５１４と、図示しないカラーフィルタを備えた液晶表示パネル５１５と、液晶駆動部５１６と、バックライト５１７と、バックライト制御部５１８と、トランジスタ５１９とを有している。
画像表示部５１ａにおいて仮想空間画像を表示する際は、バックライト制御部５１８の制御により、トランジスタ５１９がオンし、バックライト５１７が駆動し、バックライト５１７から液晶表示パネル５１５へ光が照射される。
【００７３】
そして、液晶駆動部５１６は、制御部５４から入力される表示信号（画像データ）に基づいて、液晶表示パネル５１５の駆動を制御し、これにより、液晶表示パネル５１５に仮想空間画像が表示される。
装着者（ユーザ）は、レンズ５１１及び後述する視線検出部５２ａのハーフミラー５２１を介し、この液晶表示パネル５１５に表示された仮想空間画像を視認することができる。
【００７４】
ステッピングモータ５１３の駆動は、モータ制御部５１４により制御され、そのステッピングモータ５１３が所定方向に回転すると、レンズ移動機構５１２により、レンズ５１１は、液晶表示パネル５１５に接近する方向、すなわち、装着者の目から離間する方向へ移動する。
一方、ステッピングモータ５１３が前記と逆方向に回転すると、レンズ移動機構５１２により、レンズ５１１は、液晶表示パネル５１５から離間する方向、すなわち、装着者の目に接近する方向へ移動する。
【００７５】
仮想空間表示装置５では、このレンズ５１１の位置の変更により、前記仮想空間画像の遠近を変更することができる。
このレンズ５１１の位置の調整、すなわち、前記仮想空間画像の遠近の調整は、後述する視線検出部５２ａ、５２ｂで検出される装着者の視線の情報に基づいてなされる。
【００７６】
なお、画像表示部５１ｂの構成及び作用は、前記画像表示部５１ａと同様であるので、その説明は、省略する。
視線検出部５２ａ、５２ｂは、装着者の視線がどの方向にあるか（仮想空間画像のどこに焦点を合わせようとしているか）を検出する機能と、セキュリティ情報として利用するための装着者の眼の虹彩パターンを読み取る機能とを有している。
【００７７】
図１２は、仮想空間表示装置５の視線検出部５２ａの構成例を示す図（ブロック図、模式図）である。この図１２に示すように、視線検出部５２ａは、ハーフミラー５２１と、可視光を除去し、赤外光を透過させるフィルタ５２２と、レンズ５２３と、ＣＣＤ（撮像素子）５２４と、ＣＣＤ制御部５２５と、ＣＣＤ出力増幅部５２６と、赤外光を発するＬＥＤ（発光ダイオード）５２７と、ＬＥＤ制御部５２８と、トランジスタ５２９とを有している。
【００７８】
ＬＥＤ５２７の駆動は、ＬＥＤ制御部５２８により制御され、そのＬＥＤ制御部５２８の制御によりトランジスタ５２９がオンすると、ＬＥＤ５２７が駆動し、ＬＥＤ５２７から赤外光が発せられる。
ＬＥＤ５２７から発せられた赤外光は、フィルタ５２２を透過し、ハーフミラー５２１でその一部が反射して、装着者の目に照射される。
【００７９】
そして、装着者の目からの反射光（光束）は、ハーフミラー５２１でその一部が反射して、フィルタ５２２を透過し、レンズ５２３により、ＣＣＤ５２４の受光面（撮像面）上に導かれて結像し、その被写体像（装着者の目の像）は、ＣＣＤ５２４により撮像される。このＣＣＤ５２４の駆動は、ＣＣＤ制御部５２５により制御される。
【００８０】
ＣＣＤ５２４から出力された信号は、ＣＣＤ出力増幅部５２６で増幅され、その後、視線検出部５２ａから出力され、図９に示す信号処理部５８に入力される。そして、信号処理部５８において所定の信号処理がなされ、信号送受信部５５を介して情報処理装置８に送信される。
情報処理装置８では、仮想空間表示装置５からの信号を受信し、その信号（情報）に基づいて、装着者の視線がどの方向にあるか（仮想空間画像のどこに焦点を合わせようとしているか）を検出するとともに、装着者の眼の虹彩パターンを読み取り、解析し、セキュリティ情報として利用する。
【００８１】
一方、レンズ５２３側からフィルタ５２２へ入射する可視光は、フィルタ５２２で除去され、その可視光が装着者の目に照射されてしまうのを阻止することができる。これにより、液晶表示パネル５１５に表示された仮想空間画像の視認性の低下を防止することができる。
【００８２】
なお、視線検出部５２ｂの構成及び作用は、前記視線検出部５２ａと同様であるので、その説明は、省略する。
この仮想空間表示装置５は、２台の画像取込装置、すなわち、前記凹凸入力部５３ａ、５３ｂによって周囲の画像を撮像して取り込み、信号送受信部５５を介して情報処理装置８に対して撮像した画像データ（映像データ）を送信する。
【００８３】
情報処理装置８は、凹凸入力部５３ａ、５３ｂにおいて撮像された画像、すなわち撮像された画像データから視角差を導出し、その視角差等から得られる周囲の凹凸に基づいて、仮想空間画像、すなわち仮想空間の画像データを作成する。そして、情報処理装置８は、作成した仮想空間の画像（映像）と、例えば、仮想壁紙や仮想パーソナルコンピュータや仮想本などの所定の仮想物体を周囲の凹凸に合わせて仮想空間に配置するための画像とを合成した合成画像（合成映像）を示す画像データ（映像データ）を仮想空間表示装置５に送信する。
【００８４】
仮想空間表示装置５は、情報処理装置８からの画像データに基づいて、その画像を画像表示部５１ａ、５１ｂを用いて表示する。
また、仮想空間表示装置５は、装着されているリアルグローブ２０、すなわち、ユーザの手や腕が画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像も、画像表示部５１ａ、５１ｂに表示する。
【００８５】
この場合、前述したように、リアルグローブ２０に設けられている複数の位置姿勢検出部２３の検出データが情報処理装置８に送信されることによって、リアルグローブ２０の位置及び姿勢、すなわち、ユーザの各指、手、手首、腕等の位置及び姿勢は、情報処理装置８において認識される。すなわち、情報処理装置８は、逐一、リアルグローブ２０からの前記検出データに基づいて、ユーザの各指、手、手首、腕等の位置及び姿勢を特定し、それらが画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、それらを示す仮想空間画像を作成し、その画像を基礎の画像に合成して、合成画像（合成画像の画像データ）を得、その画像データを仮想空間表示装置５に送信する。
【００８６】
従って、ユーザの手や腕が画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像が、画像表示部５１ａ、５１ｂに表示される。
そして、仮想空間表示装置５では、リアルグローブ２０を装着したユーザの手や指の実際の動作に連動して、画像表示部５１ａ、５１ｂに表示されている仮想空間画像においてそのユーザの手や指が動くように描写される。
【００８７】
位置姿勢検出部５６は、仮想空間表示装置５の位置及び姿勢、すなわち、装着者の顔面（頭部）の位置及び姿勢を検出するためのセンサである。この位置姿勢検出部５６には、本実施形態では、直交コイル式の位置センサ、すなわち、前記位置姿勢検出部２３と同様のものが用いられる。
位置姿勢検出部５６からの信号（検出データ）は、信号処理部５８に入力され、所定の信号処理がなされ、信号送受信部５５を介して逐一情報処理装置８に送信される。情報処理装置８は、この検出データに基づいて、逐一仮想空間画像を更新する。
従って、例えば仮想空間表示装置５を装着したユーザが首を動かした場合には、画像表示部５１ａ、５１ｂに表示される仮想空間画像は、ユーザが向いている方向に合致した画像となるように変化する。
【００８８】
三次元加速度センサ５９は、仮想空間表示装置５の略直交する三方向への加速度を検出するものである。三次元加速度センサ５９は、ＨＭＤに内蔵可能なものであって、ある程度の精度を有するものであれば、圧電型でも、サーボ型でも、ひずみゲージ型などのいずれでもよい。しかしながら、本発明では、ＣＭＯＳを用いた半導体加速度センサのように、より高精度な加速度センサが適する。
この三次元加速度センサ５９で検出された信号（加速度データ）は、信号処理部５８に出力され、増幅などの所定の信号処理がなされた後、信号送受信部５５を介して情報処理装置８に送信される。
【００８９】
図１３は、図１に示す情報処理装置８の回路構成例を示すブロック図である。この図１３において、情報処理装置８は、演算処理部（演算手段）８１と、衝突判定部（衝突判定手段）８２と、画像生成部（画像生成手段）８３と、制御部（制御手段）８４と、記憶部（記憶手段）８５と、信号処理部８６と、信号送受信部（通信手段）８７と、磁界発生部８８とを備えている。
【００９０】
演算処理部８１は、上述のリアルグローブ２０の指や手が仮想空間内の対象物に接触した場合には（後述する衝突判定部８２により判定される）、後述する記憶部８５に格納されている物性データ及び状態量などに基づいて、その対象物がどのようなものであるかを判断して、その対象物から指（指の各関節）への反力を演算し、その演算結果からリアルグローブ２０の各リンクモータ２２２のＰＷＭデータに変換し、その変換データを信号処理部８６及び信号送受信部８７を介してリアルグローブ２０に送信する。
【００９１】
また、演算処理部８１は、リアルグローブ２０にワンウェイクラッチ及びクラッチ機構が適用されている場合、上記で演算した反力が所定の閾値よりも大きいか否かを判定し（判定手段）、その判定結果に基づいて、クラッチ機構へ動作信号を送信するか、各リンクモータ２２２へＰＷＭデータの信号を送信するかを決定する。
【００９２】
さらに、演算処理部８１は、後述する画像補正処理において、基準姿勢における２本の指先（例えば、親指と人差し指）の位置情報とその２本の指先が接触している状態における２本の指先の位置情報（以下、「実摘み位置」ともいう）とに基づいて、仮想空間画像に取り込まれた指先の位置を補正するための変換則を決定する。演算処理部８１は、例えば、第５実施形態の構成では、各ジョイント部２０５の角度のずれ量を演算することにより、画像補正のための変換則を決定する。
【００９３】
衝突判定部８２は、リアルグローブ２０の各指が仮想空間内の仮想の対象物と衝突したか否かを判定するものである。衝突判定部８２によって判定された判定結果は、制御部８４に出力される。
画像生成部８３は、制御部８４の指示により、予め基地局９から受信した仮想空間画像、あるいは仮想空間表示装置５の凹凸入力部５３ａ、５３ｂによって撮像され、その撮像画像から変換された仮想空間画像に、ユーザの腕や指などの映像を重ね合わせて、合成された仮想空間画像を生成し、その仮想空間画像のデータを信号処理部８６に出力する。また、画像生成部８３は、仮想空間中に表示されるリアルグローブ２０又は仮想空間表示装置５の移動にともない、所定の時間間隔で仮想空間画像を更新して生成し、それを信号処理部８６に出力する。
【００９４】
制御部８４は、図示しないＣＰＵなどから構成され、衝突判定部８２の判定結果に基づいて、演算処理部８１に上述の反力を演算させる。また、制御部８４は、上述の演算処理部８１、衝突判定部８２、及び画像生成部８３の動作を制御し、その演算結果、衝突判定結果、及び生成画像データなどを記憶部８５の所定の格納領域に保存するとともに、信号処理部８６及び信号送受信部８７を介して、対応する装置にそれらのデータを送信する。
【００９５】
記憶部８５は、プログラムやデータ等が予め記憶されている、図示しないコンピュータに読み取り可能な記憶媒体を有しており、この記憶媒体は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：揮発性、不揮発性のいずれをも含む）、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ（Ｆｌｏｐｐｙは登録商標））、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等のような、磁気的、光学的記録媒体、もしくは半導体メモリで構成されている。この記憶媒体は、記憶部８５に固定的に設けたもの、もしくは着脱自在に装着するものであり、この記憶媒体には、上記仮想空間表示装置５、情報処理装置８、及び力覚提示装置２に対応する各種アプリケーションプログラム、表示画像変更処理プログラム、表示画像合成処理プログラム、及び各処理プログラムで処理されたデータ、文書データ等が記憶される。
【００９６】
また、この記憶媒体に記憶するプログラム、データ等は、その一部もしくは全部をサーバやクライアント（本実施の形態では、基地局９など）等の他の機器からネットワーク回線（例えば、インターネット、電話回線など）等の伝送媒体を介して信号送受信部８７から受信して記憶する構成にしてもよく、さらに、記憶媒体はネットワーク上に構築された基地局９のサーバの記憶媒体であってもよい。さらに、前記プログラムをネットワーク回線等の伝送媒体を介してサーバやクライアントから伝送して情報処理装置８にインストールするように構成してもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００９７】
信号処理部８６は、仮想空間表示装置５や力覚提示装置２に送信する画像データや制御信号などの増幅等の信号処理を行う。信号送受信部８７は、信号処理部８６において処理された各種信号やデータを仮想空間表示装置５や力覚提示装置２などの外部機器との通信を行うための制御を行う。
磁界発生部８８は、詳細は図示されていないが、例えば、図７の位置姿勢検出部２３に対応する直交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ方向コイル）である。この磁界発生部８８は、制御部８４からの指示により、Ｘ、Ｙ、Ｚ方向コイルの順で磁界を発生し、リアルグローブ２０の位置姿勢検出部２３の各方向の検出コイル２３１、２３２及び２３３に発生した磁界を検出させるとともに、仮想空間表示装置５の位置姿勢検出部５６にも磁界を検出させる。
【００９８】
なお、この磁界発生部８８は、図示のように情報処理装置８に格納されてもよいが、磁界発生装置として情報処理装置８とは別構成としてもよい。特に、情報処理装置８として携帯電話機やＰＤＡを用いるときは、その内部に磁界発生部を後から設けることができないので、別構成とすることが有用である。このように別に磁界発生装置（又は磁界発生部）を設けたとしても、その制御は、情報処理装置８からの制御信号によってなされ得る。
【００９９】
次に、第１実施形態における力覚提示システム１の動作（作用）について説明する。ここでは、ユーザが、力覚提示システム１を利用して、仮想空間に現れている仮想パーソナルコンピュータの操作を行う場合を例に説明する。
ユーザは、各部の電源を入れ、リアルグローブ２０を両手にそれぞれ装着し、眼鏡状の仮想空間表示装置５をかける（顔面に装着する）。すると、仮想空間表示装置５の画像表示部５１ａ、５１ｂに、仮想パーソナルコンピュータを含む仮想空間画像が表示される。
【０１００】
また、ユーザの腕が画像表示部５１ａ、５１ｂで表示されている仮想空間画像内に入るようにすれば、情報処理装置８の画像生成部８３において作成されたその手や腕の画像が仮想空間画像に仮想物体として表示される。そして、ユーザが手や指を動かした場合には、その実際の手や指の動きに連動して、仮想空間画像において、表示されている手や指が動く。
情報処理装置８は、衝突判定部８２によって、仮想空間画像における対象物、すなわち本実施形態では、例えば、仮想パーソナルコンピュータの一部（例えばキーボード）と、ユーザの指の一部が同一座標となったことを検出すると、演算処理部８１の演算結果に基づいて、リアルグローブ２０に対して、触覚及び力覚を発生させるための指示を行う。具体的には、情報処理装置８は、演算処理部８１が演算した反力の演算結果から得た、駆動させる動力発生部２１１及びその駆動に用いるＰＷＭデータや、駆動させるリンクモータ２２２及びその駆動に用いるＰＷＭデータなどを、信号送受信部８７を介してリアルグローブ２０に送信する。
【０１０１】
リアルグローブ２０は、情報処理装置８からの指示に従って、指定された各動力発生部２１１を、それぞれ、指定されたトルクで指定された時間だけＰＷＭ制御により駆動する。これにより、仮想パーソナルコンピュータの一部と同一座標となった部分に配置されている各触覚提示ピン２１４の接触板２１４ａが突出し、仮想パーソナルコンピュータの一部と同一座標となったユーザの各指先に対して触覚が与えられる。すなわち、各指先に、接触感覚、質感、形状、強さ等の感覚が与えられる。
【０１０２】
同時に、リアルグローブ２０は、情報処理装置８からの指示に従って、指定された各リンクモータ２２２を、それぞれ、指定されたトルクで指定された時間だけＰＷＭ制御により駆動する。これにより、実在するパーソナルコンピュータの例えばキーボードに触れているときに各指の各関節に与えられる力覚、すなわち、前記各指の各関節に与えられる押圧力（反力）に相当する力がユーザの各指の各関節に対して与えられる。
また、ユーザが、さらに仮想パーソナルコンピュータのキーを押し込む方向に指を動かすと、指の座標変化に合わせて、画像表示部５１ａ、５１ｂに、キーを押し込む様子を示す仮想空間画像が表示される。
【０１０３】
この場合、情報処理装置８は、押下されたキーに基づく表示状態の変化を仮想空間画像で再現するための仮想空間画像の画像データを画像生成部８３において生成し、信号送受信部８７を介してそれを仮想空間表示装置５に送信する処理を行い、仮想空間表示装置５は、前記情報処理装置８から受信した仮想空間画像の画像データに基づいて、仮想パーソナルコンピュータのディスプレイにキーの押下が反映された表示がなされる画像を表示する。
【０１０４】
以上説明したように、この力覚提示装置２及び力覚提示システム１によれば、リアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができるとともに、ユーザの手及び各指の所定の部位の仮想空間における位置及び姿勢を正確かつ確実に求めることができる。
また、この力覚提示装置２及び力覚提示システム１によれば、仮想空間画像に応じて、ユーザの各指に対して力覚及び触覚をそれぞれ正確かつ確実に提示することができる。
これにより、ユーザは、快適に、そして、容易かつ確実に、仮想空間における動作（操作）を行うことができる。
【０１０５】
また、触覚発生部２１において、アクチュエータワイヤ２１２の弛みを防止することができ、各触覚提示ピン２１４からそれぞれユーザの各指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
これにより、ユーザは、仮想空間画像における各指腹の物体（対象物）への接触に相当する感覚を、より正確かつ確実に各指腹で感じることができる。
【０１０６】
さらに、触覚発生部２１では、各指腹に対してほぼ平行に（指腹に沿って）アクチュエータワイヤ２１２が配置され、そのアクチュエータワイヤ２１２を巻き取ることによって各指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
【０１０７】
また、力覚発生部２２はリンク機構を有しているので、指を伸ばしている状態、指を曲げている状態のいずれにおいても対応することができ、これにより、より確実に、各指に対して力覚を与えることができる。
また、リアルグローブ２０は、手袋２ａを有しているので、そのリアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができ、また、仮想空間における動作（操作）を容易かつ確実に行うことができる。
【０１０８】
なお、上述した実施形態では、使用例として仮想空間画像に表示されているパーソナルコンピュータを仮想的に操作する場合について説明したが、本発明では、これに限らず、例えば、仮想本などの他の物品を取扱うために使用することもできる。仮想本を取扱う場合には、例えば、仮想本の縁をさわったりページをめくったりするときに、実際の本の縁をさわったりページをめくったりするときに指に加わる触感や力感を感じることができる。
また、本発明では、仮想空間画像が表示されなくてもよい。すなわち、仮想空間画像に対応した所定のデータがあり、そのデータに基づいて、指に対して触覚や力覚を提示するよう構成されていてもよい。
【０１０９】
次に、本発明の力覚提示装置及び画像処理装置の第２実施形態について説明する。図１４は、第２実施形態における力覚提示装置の触覚発生部の構成例を示す縦断面図である。
以下、第２実施形態の力覚提示装置２について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【０１１０】
図１４（Ａ）に示すように、第２実施形態の力覚提示装置２では、その触覚発生部２１の各単位触覚発生部（アクチュエータ）２１０は、それぞれ、モータ（駆動源）２１１ａを備える動力発生部（移動手段）２１１と、長手方向に移動可能に設置されたアクチュエータワイヤ（可撓性を有する線状体）２１２と、触覚を発生させるために指腹を押圧する触覚提示部２１６とを有している。
触覚提示部２１６は、ユーザの指腹に接触感覚（接触の有無や強さ等）を与えるために用いられ、例えば、板バネのような弾性を有する部材（弾性体）で形成される。この場合、触覚提示部２１６は、適度な剛性を有するのが好ましく、例えば、各種金属で構成された弾性体で形成することができる。
【０１１１】
この触覚提示部２１６は、第１の板片（押圧部）２１６ａと、第２の板片（スライド部）２１６ｂとで構成されている。第１の板片２１６ａと第２の板片２１６ｂとは、一端側において接合されており、第１の板片２１６ａの他端側には、指腹に接触する部分である微小な接触部２１６ｃが設けられている。この接触部２１６ｃは、例えば、第１の板片２１６ａの端部を第２の板片２１６ｂ側に向けて屈曲させることによって形成することができる。
また、触覚提示部２１６の前記一端側、すなわち、図１４（Ａ）中左側の端部は、図１４（Ａ）中下側に凸となるように湾曲している。
【０１１２】
第１の板片２１６ａと第２の板片２１６ｂとの間には、第１の板片２１６ａの移動方向を規制する円柱状のガイド部（移動方向規制手段）２１７が設置されている。
また、触覚提示部２１６の図１４（Ａ）中下側には、押え板２１８が設置されており、触覚提示部２１６は、この押え板２１８に沿って移動（スライド）し得るようになっている。この場合、触覚提示部２１６は、その図１４（Ａ）中左側の端部が湾曲しているので、円滑かつ確実に移動することができる。
【０１１３】
前記ガイド部２１７は、押え板２１８に固定され、押え板２１８は、手袋２ａに固定されている。すなわち、ガイド部２１７及び押え板２１８は、共に、手袋２ａに対して固定的に設置されている。
また、触覚提示部２１６の第２の板片２１６ｂの図１４（Ａ）中右側における端部には、アクチュエータワイヤ２１２の一端が固定されている。
【０１１４】
動力発生部２１１のモータ２１１ａの駆動によりアクチュエータワイヤ２１２が巻き取られると、そのアクチュエータワイヤ２１２は、指腹に沿って図１４（Ａ）中右側（指の基端方向）に移動し、これとともにアクチュエータワイヤ２１２に取付固定されている触覚提示部２１６も指腹に沿って図１４（Ａ）中右側に移動する。
【０１１５】
この際、図１４（Ｂ）に示すように、触覚提示部２１６の第１の板片２１６ａは、ガイド部２１７によって図１４（Ｂ）中右側への移動が制限されるとともに、ガイド部２１７にガイドされて、図１４（Ｂ）中上側へ移動する（指腹に向って突出する）。すなわち、触覚提示部２１６が弾性変形し、その第１の板片２１６ａの姿勢が図１４（Ｂ）に示す姿勢に変更されることで、接触部２１６ｃは、指腹の表面に対しほぼ垂直上方に移動する（押し上げられる）。
一方、アクチュエータワイヤ２１２は、触覚提示部２１６の復元力（弾性力）により、図１４（Ｂ）中左側（第１の板片２１６ａを突出させるときのアクチュエータワイヤ２１２の移動方向と逆方向）に付勢される。すなわち、この触覚提示部２１６（第１の板片２１６ａ）は、付勢手段を兼ねる。
【０１１６】
前記接触部２１６ｃがほぼ垂直上方に移動しようとする力が働くことで、その接触部２１６ｃが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
この動作が、複数の単位触覚発生部２１０のうちの指定された単位触覚発生部２１０でなされ、これにより、ユーザの手の指腹に触覚が提示される（与えられる）。よって、ユーザは、仮想空間画像における指腹の物体（対象物）への接触に相当する感覚を、指腹に得ることができる。
【０１１７】
前記指定された単位触覚発生部２１０において、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、触覚提示部２１６の復元力（弾性力）と、ユーザの指からの圧力によって、触覚提示部２１６は、図１４（Ａ）に示す初期状態に戻る。
これにより、触覚提示部２１６からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。この力覚提示装置２によれば、前述した第１実施形態と同様の効果が得られる。
【０１１８】
次に、本発明の力覚提示装置及び力覚提示システムの第３実施形態について説明する。
図１５は、第３実施形態の力覚提示装置のリアルグローブの外観構成例を示す外観図（一部図示を省略）である。なお、図を明瞭にするために、図１５中では、図３に示す触覚発生部２１、動力発生部２１１、力覚発生部２２、位置姿勢検出部２３、制御部２４及び電力供給部３０等は、図示されていない。
【０１１９】
以下、第３実施形態の力覚提示装置２について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
図１５に示すように、第３実施形態の力覚提示装置２では、リアルグローブ２０の手袋２ａの筒状部２０ａの肘側（基端側）の端部に、空気（エアー）の注入による空気圧（圧力）により腕に固定する形態（エアー注入方式）の腕固定部２ｄが設けられている。
この腕固定部２ｄは、空気が注入される袋状の腕固定部本体２１ｄと、その腕固定部本体２１ｄに設けられたエアー注入部２２ｄとで構成されている。腕固定部本体２１ｄの外観形状は、筒状をなしている。
【０１２０】
エアー注入部２２ｄの中空部は、腕固定部本体２１ｄの内部に連通しており、エアー注入部２２ｄの先端部には、蓋体２３ｄが設けられている。
蓋体２３ｄをエアー注入部２２ｄの先端部に装着すると、腕固定部本体２１ｄ内の気密性が保持され、蓋体２３ｄを取り外すと、腕固定部本体２１ｄに対し、エアー注入部２２ｄを介して、空気の注入及び排出を行うことができる。
このような腕固定部２ｄは、各ユーザに応じて、例えば、ゴム型等の型を用いて、ユーザの腕の形状に合うように成形される。
【０１２１】
ユーザは、リアルグローブ２０を装着する際は、まず、その手袋２ａを装着し、次に、腕固定部２ｄの腕固定部本体２１ｄ内に、空気を注入する。
この空気注入では、例えば、エアー注入部２２ｄの先端部から蓋体２３ｄを取り外し、そのエアー注入部２２ｄから腕固定部本体２１ｄ内に空気を吹き込む。そして、所定量の空気を注入し終えると、エアー注入部２２ｄの先端部に蓋体２３ｄを装着する。
このようにして、リアルグローブ２０は、腕固定部２ｄの空気圧によりユーザの腕に固定されるとともに、手首固定部２８の復元力（弾性力）によりユーザの手首に固定される。
【０１２２】
また、ユーザは、リアルグローブ２０を取り外す際は、まず、腕固定部２ｄの腕固定部本体２１ｄ内から空気を排出し、次に、リアルグローブ２０を手から取り外す。
この力覚提示装置２によれば、前述した第１実施形態と同様の効果が得られるとともに、この力覚提示装置２では、腕固定部２ｄがエアー注入方式のものであるので、リアルグローブ２０の装着及び取り外しを容易かつ迅速に行うことができる。
なお、本発明では、触覚発生部２１の単位触覚発生部２１０を、前述した第２実施形態のように構成してもよい。
【０１２３】
次に、本発明の力覚提示装置及び力覚提示システムの第４実施形態について説明する。
図１６は、第４実施形態の力覚提示装置の位置姿勢検出部の構成例を示すブロック図、図１７は、第４実施形態の力覚提示装置の位置姿勢検出部の構成例を示す外観図（一部図示を省略）、図１８は、図１７に示す位置姿勢検出部のＺ方向検出センサの構成例を示す外観図である。なお、図１７及び図１８中において、それぞれ、互いに直交するＸ軸、Ｙ軸及びＺ軸を想定する。
【０１２４】
以下、第４実施形態における力覚提示装置２について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
第４実施形態における力覚提示装置２では、位置姿勢検出部（位置検出手段）２３として、例えば、コリオリ力を利用して互いに直交するＸ軸、Ｙ軸及びＺ軸の回りの角速度をそれぞれ検出するジャイロセンサ（ジャイロスコープ）を用いる。
【０１２５】
そして、この力覚提示装置２では、凹凸入力部（撮像手段）５３ａ、５３ｂにより周囲を撮像し、その撮像された周囲の画像に指に対応する部分が含まれている場合には、凹凸入力部５３ａ、５３ｂからの画像データ（映像データ）に基づいて指の位置を求め、前記撮像された周囲の画像に指に対応する部分が含まれていない場合には、前記各位置姿勢検出部２３により指の位置を検出し、各位置姿勢検出部２３からの情報に基づいて指の位置を求める。
【０１２６】
図１７に示すように、位置姿勢検出部２３は、ケーシング６０と、ケーシング６０内に設けられ、Ｘ軸の回りの角速度を検出するＸ方向検出センサ（第１の検出センサ）６１、Ｙ軸の回りの角速度を検出するＹ方向検出センサ（第２の検出センサ）６２及びＺ軸の回りの角速度を検出するＺ方向検出センサ（第３の検出センサ）６３とを有している。
また、図１８に示すように、Ｚ方向検出センサ６３は、エリンバー（基台）６４と、エリンバー６４に設置された振動用の圧電素子（振動用圧電素子）６５及び検出用の圧電素子（検出用圧電素子）６６とで構成されている。このＺ方向検出センサ６３は、２本のワイヤ６７、６８により支持されている。
【０１２７】
エリンバー６４の形状は、Ｚ軸方向に長い略直方体をなしており、その略直交する２つの面の一方に前記振動用圧電素子６５が設置され、他方に検出用圧電素子６６が設置されている。この場合、Ｙ軸に対して垂直な面に、振動用圧電素子６５が配置され、Ｘ軸に対して垂直な面に、検出用圧電素子６６が配置されているが、その配置を逆にしてもよい。
【０１２８】
このＺ方向検出センサ６３の振動用圧電素子６５に図１６に示す交流電源６９から交流電圧が印加されると、その振動用圧電素子６５は、Ｘ軸方向に振動（屈曲振動）し、これによりエリンバー６４もＸ軸方向に振動する。このとき、Ｚ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）が検出用圧電素子６６から検出される。
【０１２９】
なお、Ｘ方向検出センサ６１及びＹ方向検出センサ６２の構成は、前記Ｚ方向検出センサ６３と同様であるので、その説明は省略する。それらの作用は、Ｘ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）がＸ方向検出センサ６１の検出用圧電素子６６から検出され、Ｙ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）がＹ方向検出センサ６２の検出用圧電素子６６から検出される。
【０１３０】
図１６に示すように、位置姿勢検出部２３のＸ方向検出センサ６１によって検出されたＸ軸の回りの角速度に対応した信号（検出データ）と、Ｙ方向検出センサ６２によって検出されたＹ軸の回りの角速度に対応した信号（検出データ）と、Ｚ方向検出センサ６３によって検出されたＺ軸の回りの角速度に対応した信号（検出データ）とは、それぞれ、信号処理部２５の増幅部２５１において増幅され、Ａ／Ｄ変換部２５２においてデジタル信号に変換された後、図２に示す信号送受信部２６に出力され、この信号送受信部２６を介して情報処理装置８に送信される。
情報処理装置８では、リアルグローブ２０からの信号を受信し、その信号（情報）に基づいて、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢、すなわち、前記各部の座標を導出し、その情報を所定の各処理において利用するために記憶部８５の所定の格納領域に保存する。
【０１３１】
次に、本発明の力覚提示装置及び力覚提示システムの第５実施形態について説明する。
図１９は、本発明の第５実施形態における力覚提示装置を概略的に示す斜視図であり、図２０は、図１９に示す力覚提示装置の１つの指に対応するアーム部の拡大図であり、図２１は、図２０に示すアーム部のジョイント部の断面図であり、図２２は、図２０に示すアーム部の指を挿入する力覚提示部の拡大図である。
【０１３２】
以下、第５実施形態における力覚提示装置２について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
第５実施形態における力覚提示装置２では、力覚発生部２２として、特に、ユーザの指先に力覚を提示する複数のモータ２０１を用い、位置姿勢検出部（位置検出手段）２３として、後述する複数のリンク２０３、複数のエンコーダ２０８、及び連結部２０４を用いる。
図１９に示すように、第５実施形態の力覚提示装置２は、ユーザの各指先に適用する複数のアーム部２００（図１９では、２本のアーム部２００しか示さないが、本実施形態では、ユーザの５本の指すべてに適用される。）と、ユーザの手の甲側に適用するアーム部２００とを備える。
【０１３３】
なお、図１９では、各アーム部２００は、その一端がユーザの指先又は手の甲に装着され、他端がそれぞれ中空に浮いているように示されているが、本実施形態では、すべてのアーム部２００は、上記他端側で１つにまとまり、その部分に制御部２４、信号処理部２５及び信号送受信部２６が配置されている。しかしながら、本発明は、この構成に限らず、例えば、各アーム部２００の他端側にそれぞれ制御部２４、信号処理部２５及び信号送受信部２６を備えていてもよい。
各アーム部２００の構造
（構成）はほぼ等しいので、ここでは、図２０に示す指先に適用されるアーム部２００、図２１に示すそのアーム部２００のジョイント部２０５、及び、図２２に示す力覚提示部２０６及び連結部２０４を用いて、その構成を詳細に説明する。
【０１３４】
図２０において、アーム部２００は、３本のリンク２０３と、リンク２０３とリンク２０３とを連結する３つのジョイント（節）２０５と、各ジョイント部２０５に設けられる３つのモータ２０１と、各モータ２０１に対応してジョイント部２０５に設けられるクラッチ２０２と、ユーザの指先に装着する力覚提示部２０６と、力覚提示部２０６とリンク２０３とのジョイントをなす連結部２０４とを備える。
【０１３５】
なお、本実施形態では、３本のリンク２０３を備えるアーム部２００について説明するが、本発明の力覚提示装置２は、これに限定されず、アーム部２００にはリンク２０３がいくつ用いられてもよい。このリンク２０３の数は、本実施形態の力覚提示装置２を装着したユーザの指先の自由度、位置姿勢検出部２３の検出能力（検出時間などの処理能力）などを考慮して、適当な数に決定するのが好ましい。
【０１３６】
ここで、図２１を用いてジョイント部２０５の構造を説明する。図２１に示すように、２つのリンク２０３を連結するジョイント部２０５には、モータ２０１と、モータ軸２０１ａに連結されるエンコーダ２０８と、モータ２０１の所定の方向への回転を抑制（規制）するワンウェイクラッチ（移動規制手段）２０７と、このワンウェイクラッチ２０７を介してモータ軸２０１ａに連結されるクラッチ（クラッチ機構）２０２とが配置される。なお、図２１に示すように、１つのリンク２０３はモータ軸２０１ａに連結し、もう１つのリンク２０３は、クラッチ２０２に連結されている。
【０１３７】
モータ２０１は、図２０に示す方向Ａ及びＢのいずれにも回転可能であり、モータ２０１の回転角度を変えることにより、モータ２０１が配置されるジョイント部２０５に連結される２つのリンク２０３の角度を調整することができる。すなわち、２つのリンク２０３の一方は、モータ２０１の出力軸であるモータ軸２０１ａに取り付けられており、モータ２０１の回転角度とジョイント部２０５の回転角度が一致するように構成されている。
【０１３８】
また、上述の情報処理装置８の衝突判定部８２により、ユーザの指先が仮想空間画像内の対象物に触れた（衝突した）と判定された場合には、力覚提示装置２は、記憶部８５に保存されているその対象物の物性データ及び状態量に基づいて演算された作用力（反力）を信号送受信部２６を介して受信する。そして、モータ２０１は、その作用力データに基づいて、ユーザの指先に反力（力覚）を提示するように、通電されて駆動（回転）する。なお、このモータ２０１は、通電されていないときは回転するモータ軸２０１ａが自由に回転可能なモータである。
【０１３９】
エンコーダ２０８は、上述のように、モータ２０１のモータ軸２０１ａに連結されており、位置姿勢検出部２３を構成する。エンコーダ２０８は、モータ２０１の回転角度、すなわち、２つのリンク２０３の相対的な回転角度を検出することができる。検出された２つのリンク２０３間の角度情報（信号）は、信号処理部２５において所定の信号処理をされた後、信号送受信部２６を介して情報処理装置８に送信される（図２参照）。
【０１４０】
クラッチ２０２のスリーブは、ワンウェイクラッチ２０７を介してモータ２０１のモータ軸２０１ａに連結されている。このクラッチ２０２は、クラッチ２０２内部のコイルに通電することにより、モータ２０１の駆動を固定（回転不能に）するが、ワンウェイクラッチ２０７を介しているため、一方向への回転は自由なままである。
なお、図２０において、ワンウェイクラッチ２０７が作動している場合、各ジョイント部２０５では、Ａ方向には自由に回転可能であり、Ｂ方向には回転不可能である。以下、Ａ方向を順方向、Ｂ方向をロック方向という。
【０１４１】
ワンウェイクラッチ２０７は、その内部に図示しない内輪と外輪を含み、その外輪は、クラッチ２０２のスリーブに固定あるいは回転止めされている。これにより、ワンウェイクラッチ２０７が順方向に回転する場合には、その内輪が回転し、逆に、ワンウェイクラッチ２０７がロック方向に回転する場合には、その内輪及び外輪、並びにクラッチ２０２のロータが一緒に回転する。
【０１４２】
なお、仮想空間において、対象物などに触れずにユーザがアーム部２００を装着した指を移動する場合には、モータ２０１及びクラッチ２０２への通電がオフされ、ユーザはその指先を自由に移動することができる。
ここで、すべてのモータ２０１によって力覚発生手段が構成され、各リンク２０３、ジョイント部２０５、連結部２０４、及び力覚提示部２０６によって力覚提示部が構成される。また、エンコーダ２０８及び連結部２０４によって位置検出手段が構成される。
【０１４３】
図２２に示すように、力覚提示部２０６は、図２０に示すように、ユーザの指先が挿入できるように中空の筒状をしている。モータ２０１を駆動した場合やクラッチ２０２をオンしてワンウェイクラッチ２０７を作動した場合には、力覚提示部２０６は、それらで発生した作用力（力覚）をユーザの指先に提示するものである。
また、図２３は、本発明の一実施形態における力覚提示部２０６の断面図であるが、力覚提示部２０６は、この図２３に示すように、その内表面であってユーザの指腹が当たる部分にピン駆動による触覚提示部２０９を備えていてもよい。これにより、上記第１実施形態と同様の効果を得ることができる。
【０１４４】
図２２では、図２０に示した連結部２０４のカバーをはずしたものを示す。この連結部２０４は、ジンバル構造となっており、図２２に示す矢印の方向に回転可能である。
また、連結部２０４は、図示しないポテンショメータ等の回転角度検出手段を備えており、力覚提示部２０６の姿勢を検出することができる。なお、連結部２０４として、ボールジョイントなどを用いることも可能であるが、その場合には、力覚提示部２０６の姿勢を検出する手段を別途設ける必要がある。
このように、本実施形態の力覚提示装置２は、情報処理装置８の指示に従って、モータ２０１をオン／オフし、あるいはクラッチ２０２を介してワンウェイクラッチ２０７を作動／不作動することにより、ユーザの指先に力覚を提示することができる。
【０１４５】
次に、第５実施形態における力覚提示装置２の動作（作用）について説明する。図２４は、本発明の力覚提示処理（力覚提示方法）を示すフローチャートである。このフローチャートからも分かるように、本発明の力覚提示方法は、主に、力覚提示システム１における力覚提示装置２と情報処理装置８とのデータ送受信によって行われる。そのため、このフローチャートでは、仮想空間表示装置５の動作を省略しているが、必要に応じて説明を加える。
【０１４６】
使用に先立って、ユーザは、各部（各装置）の電源を入れ、力覚提示装置２を両手にそれぞれ装着し、眼鏡状の仮想空間表示装置５をかける（顔面に装着する）。すると、仮想空間表示装置５の画像表示部５１ａ、５１ｂに、予め情報処理装置８の記憶部８５に画像データとして格納されている仮想空間画像、あるいは仮想空間表示装置５の撮像手段によって撮像された画像データから生成された仮想空間画像が表示される。
【０１４７】
そして、力覚提示システム１では、各装置の初期設定が行われる。この初期設定では、力覚提示装置２の各モータ２０１の回転角度、すなわち、アーム部２００の各ジョイント部２０５の角度がエンコーダ２０８及び連結部２０４によって検出され、それらの検出された角度データは、信号送受信部２６を介して情報処理装置８に送信される。
【０１４８】
情報処理装置８では、演算処理部８１は、上記角度データに基づいて、力覚提示装置２を装着したユーザの各指先及び手の甲の仮想空間における位置及び姿勢を演算し、その演算結果、すなわち、仮想空間における各ポイントの座標を制御部８４及び信号処理部８６に出力する。
制御部８４は、これらの座標から仮想空間内にユーザの手の画像を画像生成部８３に生成させる。画像生成部８３は、このユーザの手の画像データを現在仮想空間表示装置５に表示している仮想空間画像データと合成し、合成した画像データを信号処理部８６及び信号送受信部８７を介して仮想空間表示装置５に送信する。
【０１４９】
仮想空間表示装置５は、受信した仮想空間画像データを画像表示部５１ａ、５１ｂに表示する。以上によって、初期設定が終了する。
この初期設定が終了すると、力覚提示システム１は使用可能状態となる。以下、図２４のフローチャートに基づいて、本実施形態の力覚提示装置２及び力覚提示システム１の動作を説明する。
【０１５０】
まず、力覚提示装置２では、位置姿勢検出部２３は、各アーム部２００の各ジョイント部２０５の角度を検出する。すなわち、位置姿勢検出部２３は、各ジョイント部２０５に配置されるエンコーダ２０８を用いて対応する各モータ２０１の回転角度を検出し、連結部２０４の回転角度検出手段を用いて、力覚提示部２０６の姿勢を検出する。
そして、これらの検出データは、位置姿勢検出部２３から信号処理部２５に出力され、信号送受信部２６を介して情報処理装置８に送信される（ステップＳ１０１）。
【０１５１】
信号送受信部８７を介して力覚提示装置２から送信された検出データを受信すると、情報処理装置８は、制御部８４を介してそれらのデータを演算処理部８１に入力する。そして、演算処理部８１は、これらの検出データに基づいて、ユーザの各指及び手の仮想空間内における位置及び姿勢を演算する（ステップＳ１０２）。
【０１５２】
すなわち、演算処理部８１は、記憶部８５に予め格納されているアーム部２００のアーム長、すなわち、各リンク２０３のそれぞれのリンク長と、このアーム部２００を支持している支持部（図示せず）の座標データと、上記検出データ、すなわち、各ジョイント部２０５のそれぞれ検出された回転角度とを用いて、順運動学的にユーザの指先の位置を演算する。演算結果は、ユーザの各指先及び手の甲の仮想空間における座標（位置情報）として表される。
その演算結果は、制御部８４を介して画像生成部８３に入力される。画像生成部８３は、この演算結果に基づいて、仮想空間におけるユーザの手の画像を作成し、その手の画像を重ね合わせて仮想空間画像を更新する（ステップＳ１０３）。
【０１５３】
そして、その更新して生成された画像データは、信号処理部８６及び信号送受信部８７を介して仮想空間表示装置５に送信される。仮想空間表示装置５は、受信した画像データに基づいて、画像表示部５１ａ、５１ｂに更新した仮想空間画像を表示する。これにより、ユーザは、仮想空間表示装置５の画像表示部５１ａ、５１ｂによって、仮想空間画像内に表示されたユーザの手を見ることができる。
ここで、演算処理部８１の演算結果が仮想空間内でユーザの指が移動していないことを示している場合、すなわち、上記検出データが前回の検出データ（ここでは、初期設定時のデータ）と同一である場合、画像生成部８３は、仮想空間画像を更新することなく、ステップＳ１０４に移行してもよい。
【０１５４】
ステップＳ１０４において、情報処理装置８の衝突判定部（干渉判定手段）８２は、演算処理部８１によって得られたユーザの指先の位置情報及び記憶部８５に予め記憶されている仮想空間画像内の対象物の位置情報に基づいて、ユーザの指先と仮想空間中の対象物が干渉したか否か（衝突したか否か）を判定する。そして、それらが干渉していないと判定された場合には（ステップＳ１０４においてＮＯ）、各モータ２０１及び各クラッチ２０２の出力をオフ、すなわち、これらへの通電を止めて（ステップＳ１０５）、ステップＳ１０１に戻り同様の処理を繰り返す。なお、現時点ではモータ２０１又はクラッチ２０２への通電は行われていないので、そのままステップＳ１０１に戻り同様の処理を繰り返す。
【０１５５】
また、ステップＳ１０４においてユーザの指先と対象物が干渉したと判定された場合には（ステップＳ１０４においてＹＥＳ）、制御部８４は、その対象物の物性データ及び状態量データを記憶部８５の所定の保存先から読み出し、これらのデータを演算処理部８１に出力する。演算処理部８１は、当該データに基づいて、対象物のユーザの指への作用力を演算する（ステップＳ１０６）。
【０１５６】
ステップＳ１０７において、制御部８４（ここでは、判別手段）は、演算処理部８１によって演算された作用力が予め設定され、記憶部８５の所定の保存領域に記憶されている所定の閾値よりも大きいか否かを判別する。そして、この作用力が所定の閾値よりも大きいと判別された場合には、制御部８４は、クラッチ２０２の動作信号（作動信号）を信号処理部８６及び信号送受信部８７を介して力覚提示装置２に送信する（ステップＳ１０９）。
一方、上記作用力が所定の閾値よりも小さいと判別された場合には、演算処理部８１は、力覚提示装置２の各モータ２０１への作用力の分配比率を演算し（ステップＳ１０９）、その演算結果を適正なモータ動作信号として信号処理部８６及び信号送受信部８７を介して力覚提示装置２に送信する（ステップＳ１１０）。
【０１５７】
モータ２０１の動作信号又はクラッチ２０２の動作信号を受信した力覚提示装置２は、制御部２４を介してその動作信号を力覚発生部２２に入力する。そして、力覚発生部２２は、その動作信号に基づいて、モータ２０１又はクラッチ２０２を通電し、モータ２０１の動作信号の場合には、各モータ２０１を駆動して作用力（力覚）を発生し、クラッチ２０２の動作信号の場合には、クラッチ２０２を駆動してワンウェイクラッチ２０７を作動して（ステップＳ１１１）、この力覚提示処理を終了する。
これにより、ユーザは、力覚提示部２０６を介してモータ２０１で発生した力覚を提示され、あるいは、ワンウェイクラッチ２０７の作動によりユーザの指先の所定の方向への移動を規制される。
【０１５８】
なお、この図２４のフローチャートに示す力覚提示処理におけるステップＳ１０１の各ジョイント部２０５の検出ステップは、情報処理装置８の演算処理部８１の演算処理能力に基づいて、所定の時間間隔で、例えば、１〜２秒毎に実行される。この検出ステップの検出頻度は、大きければ大きいほど、すなわち、時間間隔が短ければ短いほど、仮想空間領域におけるユーザへの力覚提示が自然に近くなるので、その検出頻度は、上記演算処理部８１の演算処理能力に応じて適宜決定されるべきである。
【０１５９】
次いで、図２５のフローチャートを参照して、本発明のコントラスト提示処理について説明する。図２５は、本発明のコントラスト提示処理（コントラスト提示方法）を示すフローチャートである。このコントラスト提示処理は、好ましくは、ユーザが本発明の力覚提示装置２を装着したとき、すなわち、本発明の力覚提示装置２の使用開始時に行われる。なお、このコントラスト提示処理は、ユーザの指に作用する力覚のキャリブレーション、すなわち、力覚提示装置２のキャリブレーションに相当する処理である。
【０１６０】
なお、上記力覚提示処理のフローチャート（図２４）と同様に、このフローチャートでも、仮想空間表示装置５の動作を省略しているが、必要に応じて適宜説明を加える。また、説明が前後するが、上述の初期設定が終了し、本発明のコントラスト提示処理を実行した後、通常の使用時には、上記力覚提示処理が常時実行されている。
【０１６１】
まず、ユーザに力覚のコントラストを提示するために、情報処理装置８の画像生成部８３において、記憶部８５に予め格納されている画像データに基づいて、仮想空間画像中に所定の対象物の画像が生成される（ステップＳ２０１）。そして、この生成された画像は、信号処理部８６及び信号送受信部８７を介して仮想空間表示装置５に送信される。仮想空間表示装置５では、その画像データは、画像表示部５１ａ、５１ｂに表示される。
【０１６２】
仮想空間画像が仮想空間表示装置５に表示された状態において、力覚提示装置２では、位置姿勢検出部２３は、各アーム部２００の各ジョイント部２０５の角度を検出する。すなわち、位置姿勢検出部２３は、各ジョイント部２０５に配置されるエンコーダ２０８を用いて対応する各モータ２０１の回転角度を検出し、連結部２０４の回転角度検出手段を用いて、力覚提示部２０６の姿勢を検出する。
そして、これらの検出データは、位置姿勢検出部２３から信号処理部２５に出力され、信号送受信部２６を介して情報処理装置８に送信される（ステップＳ２０２）。
【０１６３】
信号送受信部８７を介して力覚提示装置２から送信された検出データを受信すると、情報処理装置８は、制御部８４を介してそれらのデータを演算処理部８１に入力する。そして、演算処理部８１は、これらの検出データに基づいて、ユーザの各指及び手の仮想空間内における位置及び姿勢を演算する（ステップＳ２０３）。
【０１６４】
すなわち、演算処理部８１は、記憶部８５に予め格納されているアーム部２００のアーム長、すなわち、各リンク２０３のそれぞれのリンク長と、このアーム部２００を支持している支持部（図示せず）の座標データと、上記検出データ、すなわち、各ジョイント部２０５のそれぞれ検出された回転角度とを用いて、順運動学的にユーザの指先の位置を演算する。演算結果は、ユーザの各指先及び手の甲の仮想空間における座標（位置情報）として表される。
【０１６５】
その演算結果は、制御部８４を介して画像生成部８３に入力される。画像生成部８３は、この演算結果に基づいて、仮想空間におけるユーザの手の画像を作成し、その手の画像を重ね合わせて仮想空間画像を更新する（ステップＳ２０４）。なお、このコントラスト提示処理では、開始時に、例えば、上記で表示された所定の対象物を適当な力の強さで押すように、仮想空間表示装置５に適当なメッセージを表示するのが好ましい。
【０１６６】
そして、その更新して生成された画像データは、信号処理部８６及び信号送受信部８７を介して仮想空間表示装置５に送信される。仮想空間表示装置５は、受信した画像データに基づいて、画像表示部５１ａ、５１ｂに更新した仮想空間画像を表示する。これにより、ユーザは、仮想空間表示装置５の画像表示部５１ａ、５１ｂによって、仮想空間画像内に表示されたユーザの手を見ることができる。
【０１６７】
ステップＳ２０５において、情報処理装置８の衝突判定部８２は、演算処理部８１によって得られたユーザの指先の位置情報及び記憶部８５に予め記憶されている仮想空間画像内の当該所定の対象物の位置情報に基づいて、ユーザの指先と仮想空間中の対象物が干渉したか否か（衝突したか否か）を判定する。そして、それらが干渉していないと判定された場合には（ステップＳ２０５においてＮＯ）、各モータ２０１の出力をオフ、すなわち、通電を止めて（ステップＳ２０６）、ステップＳ２０２に戻り同様の処理を繰り返す。なお、上記のようにユーザに対して対象物と干渉するように表示などをしている場合には、ユーザはこの対象物を触ろうと仮想空間中で手及び指を移動するので、このような処理が行われることは稀であろう。
【０１６８】
また、ステップＳ２０５においてユーザの指先と対象物が干渉したと判定された場合には（ステップＳ２０５においてＹＥＳ）、制御部８４は、その対象物の物性データ及び状態量データを記憶部８５の所定の保存先から読み出し、これらのデータを演算処理部８１に出力する。演算処理部８１は、当該データに基づいて、対象物のユーザの指への最初の作用力を演算する（ステップＳ２０７）。このコントラスト提示処理では、ユーザ側が主体となって所定の対象物を押す動作をしているので、仮想空間中における所定の対象物の表示位置にユーザの指先を保持（固定）するために、その作用力と反対方向への反力（相互作用）を力覚発生部２２である各モータ２０１が駆動して発生している。そのため、演算処理部８１は、ここでは、各モータ２０１を駆動するための入力信号（制御信号）を用いて（あるいは、別のセンサ（図示せず）によりモータの出力をモニタして）、ユーザが対象物を押している作用力を演算することとなる。
【０１６９】
そして、制御部８４は、ユーザの指先の位置が所定の位置から動かないように、力覚提示装置２の力覚発生部２２である各モータ２０１をユーザの押す作用力に追従して駆動制御する（ステップＳ２０８、Ｓ２０９）。なお、この場合でも、ユーザの作用力は、演算処理部８１の演算結果に基づいて、各モータ２０１に分配される。
【０１７０】
ステップＳ２１０において、情報処理装置８の制御部８４は、ユーザが対象物を押す作用力が第１の閾値を超えているか否かを判定する。第１の閾値を超えていないと判定された場合には、ステップＳ２０７に戻り、同様の処理（作用力を演算し、各モータ２０１に分配する処理）を繰り返す。
ステップＳ２１０において上記ユーザの作用力が第１の閾値を超えていると判定された場合には、制御部８４は、記憶部８５に予め保存されている第２の閾値に対応する、各モータ２０１の動作信号（制御信号）を、信号処理部８６及び信号送受信部８７を介して力覚提示装置２に送信する（ステップＳ２１１）。
この各モータ２０１の動作信号を受信した力覚提示装置２は、この信号に基づいて、各モータ２０１の出力を変更し（ステップＳ２１２）、このコントラスト提示処理を終了する。
【０１７１】
なお、第１及び第２の閾値は、情報処理装置８（すなわち、力覚提示システム１）に予め設定されていてもよく、あるいは、力覚提示システム１（力覚提示装置２）を利用するユーザによって適宜変更可能なように構成されていてもよい。第１の閾値としては、ユーザが十分に所定の対象物を押していると感じる程度の大きさであるとともに、力覚提示装置２にとって過負荷とならないような大きさであることが好ましく、例えば、５ｋｇ重（５０Ｎ（ニュートン））程度である。
【０１７２】
また、第２の閾値は、第１の閾値に対応して、ユーザ、すなわち、人間がコントラストを十分に感じられるように、小さい値である方がよく、好ましくは、各モータ２０１によって発生する作用力が概ね０に相当する値、すなわち、モータ２０１への通電を止めたときの作用力（負荷）の値（このとき、ユーザの指先は自由な移動が可能である）である。
このように、第１の閾値と第２の閾値が十分にずれて（離れて）いることにより、ユーザへのコントラストはよりよく提示される。
【０１７３】
次いで、図２６のフローチャート及び図２７〜図２９の概略図を参照して、本発明の画像補正方法（画像補正処理）を説明する。なお、力覚提示装置２の構成は、本第５実施形態のもので代表して説明する。図２６は、本発明の画像補正処理を示すフローチャートであり、図２７は、力覚提示手段を装着した２本の指で紙を掴む場合の概念図（補正前）、図２８は、力覚提示手段を装着した２本の指を接触させた場合の概念図（補正後）、図２９は、本発明の画像補正処理で人差し指を補正した場合の概念図（補正前後）である。
【０１７４】
この画像補正処理も、上記コントラスト提示処理と同様に、好ましくは、ユーザが本発明の力覚提示装置２を装着したとき、すなわち、本発明の力覚提示装置２の使用開始時に行われる（対応するアプリケーションプログラムが実行される）。なお、この画像補正処理は、ユーザの指を含む仮想空間画像のキャリブレーション、すなわち、力覚提示システム１のキャリブレーションに相当する処理である。
【０１７５】
なお、上記力覚提示処理のフローチャート（図２４）及びコントラスト提示処理（図２５）と同様に、このフローチャートでも、仮想空間表示装置５の動作を省略しているが、必要に応じて適宜説明を加える。また、説明が前後するが、上述の初期設定が終了し、本発明のコントラスト提示処理を実行した後、通常の使用時には、上記力覚提示処理が常時実行されている。
【０１７６】
まず、ユーザは、情報処理装置８の指示によって所定のメッセージが表示された仮想空間表示装置５を確認し（ステップでは示さず）、力覚提示装置２を装着した手を基準位置に移動する。ここで、基準姿勢とは、例えば、指のすべての関節を伸ばして掌を開いた状態のように、少なくとも親指と処理対象の指（このフローチャートの説明では、人差し指）の関節が伸びた状態の姿勢をいう。
【０１７７】
そして、この基準姿勢の状態において、位置姿勢検出部２３は、仮想空間におけるユーザの指先の位置を検出するために、各アーム部２００の各ジョイント部２０５の角度を検出する。すなわち、位置姿勢検出部２３は、各ジョイント部２０５に配置されるエンコーダ２０８を用いて対応する各モータ２０１の回転角度を検出し、連結部２０４の回転角度検出手段を用いて、力覚提示部２０６の位置及び姿勢、すなわち、ユーザの手及び指の位置及び姿勢を検出する。そして、制御部２４は、これらの検出データ（角度データ）を信号処理部２５及び信号送受信部２６を介して情報処理装置８に送信する（ステップＳ３０１）。
【０１７８】
信号送受信部８７を介して力覚提示装置２から送信された検出データを受信すると、情報処理装置８は、制御部８４を介してそれらのデータを演算処理部８１に入力する。そして、演算処理部８１は、これらの検出データに基づいて、ユーザの各指及び手の仮想空間内における位置及び姿勢を演算する（ステップＳ３０２）。そして、制御部８４は、演算結果及び各ジョイント部の関節角度θｉ（ｉ＝１，２，・・・）を記憶部８５の所定の保存領域に格納する。
【０１７９】
なお、ユーザの各指及び手の仮想空間内における位置及び姿勢を演算する方法は、各エンコーダの出力から得られる関節角度及びリンク２０３のリンク長などを用いて、力覚提示システム１（又は力覚提示装置２）における所定の基準位置から順運動学的に指先及び手の甲の位置・姿勢を演算し、この演算結果から得られた指先及び手の甲の位置・姿勢に基づいて、指の各関節をリンクとして近似表現したデータを用いて、指先の位置から逆運動学的にユーザの手の位置検出を行っていない部分の形状（例えば、指の各関節角度など）を演算するというものである。このように、順運動学的演算だけでなく、逆運動学的演算を行うことにより、仮想空間におけるユーザの手及び指の位置・姿勢を正確に検出することができる。
【０１８０】
上述の各データの格納が終わると、同様に、ユーザは、情報処理装置８の指示によって所定のメッセージが表示された仮想空間表示装置５を確認し（ステップでは示さず）、力覚提示装置２を装着した手の人差し指と親指の２本で何もない状態でものを摘む動作をする。
【０１８１】
そして、この状態において、位置姿勢検出部２３は、仮想空間におけるユーザの指先の位置を検出するために、各アーム部２００の各ジョイント部２０５の角度を検出する。すなわち、位置姿勢検出部２３は、各ジョイント部２０５に配置されるエンコーダ２０８を用いて対応する各モータ２０１の回転角度を検出し、連結部２０４の回転角度検出手段を用いて、力覚提示部２０６の位置及び姿勢、すなわち、ユーザの手及び指の位置及び姿勢を検出する。そして、制御部２４は、これらの検出データ（角度データ）を信号処理部２５及び信号送受信部２６を介して情報処理装置８に送信する（ステップＳ３０３）。
【０１８２】
信号送受信部８７を介して力覚提示装置２から送信された検出データを受信すると、情報処理装置８は、制御部８４を介してそれらのデータを演算処理部８１に入力する。そして、演算処理部８１は、これらの検出データに基づいて、上記ステップＳ３０２の場合と同様に、ユーザの各指及び手の仮想空間内における位置及び姿勢を演算する（ステップＳ３０４）。そして、制御部８４は、演算結果及び各ジョイント部の関節角度φｉ（ｉ＝１，２，・・・）を記憶部８５の所定の保存領域に格納する。
【０１８３】
上述の各データの格納が終わると、演算処理部８１の演算結果に基づいて、画像生成部８３は、ユーザの手を取り込んだ状態における仮想空間画像を生成する（ステップＳ３０５）。ここで、ユーザが力覚提示装置２を装着した２本の指で実際に摘んでいる（２本の指が接触している）状態を図２７に示す。実空間においては、図２７（Ａ）に示すように、ユーザの２本の指先は、力覚提示部２０６の厚みを介して接触（干渉）している。一方、仮想空間画像においては、図２７（Ｂ）に示すように、仮想空間表示装置５は、力覚提示部２０６に厚みがあるために、２本の指はぴったりと接触しているように表示することができず、仮想空間では、対象物（図２７では、紙などの薄状物）は、２本の指先の間に接触していないように表示される。なお、このユーザの指が摘む動作をしている状態の各指先の位置を実摘み位置という。
【０１８４】
この状態において、画像生成部８３は、図２７（Ｂ）のような状態から図２８（Ｂ）のような状態になるように、仮想空間画像を変更（補正）して生成するとともに（ステップＳ３０６）、図２８（Ｂ）に示すような２本の指先位置を特定し、制御部８４を介してその位置情報（座標データ）を演算処理部８１に出力する。なお、このユーザの２本の指が接触（干渉）している状態の各指先の位置を仮想摘み位置という。
【０１８５】
そして、演算処理部８１は、各指先の位置が上記補正によってずれた際の、実摘み位置から仮想摘み位置へのずれ量に基づいて、各ジョイント部２０５の関節角度のずれ量を演算する（ステップＳ３０７）。なお、このずれ量の演算は、基準となる指（本実施形態では、親指）に対して一方の指（本実施形態では、人差し指）についてのみ行われる。このように、２本の指先の一方の指についてのみ、仮想空間画像を補正するための演算を行うことによって、本発明では演算を容易に実行することができる。
【０１８６】
そして、制御部８４は、上記ずれ量演算によって得られた各ジョイント部２０５の関節角度のずれ量αｉ（ｉ＝１，２，・・・）を記憶部８５の所定の保存領域に格納する。以下、上記θｉ、φｉ、及びαｉに基づいて、制御部８４は、仮想空間画像を補正するための変換則を決定する（ステップＳ３０８）。この変換則に用いられる変換方法は、いろいろなものが考えられるが、ここでは、代表的な２つの変換方法を示す。
【０１８７】
まず、第１の変換方法は、上記ずれ量に基づいて、基準姿勢のときの親指以外の指（本実施形態では、人差し指）の指先位置から仮想摘み位置までの間において、力覚提示装置２のアーム部２００の各ジョイント部２０５の関節角度を比例拡大するものである。すなわち、本発明の力覚提示装置２をユーザが操作している間、一定周期（例えば、１，２秒）で対応するアーム部２００の各ジョイント部２０５の関節角度がエンコーダ２０８によって検出され、演算処理部８１は、その検出結果、すなわち、各ジョイント部の関節角度βｉ（ｉ＝１，２，・・・）に対して、上述の検出結果から定まる定数：
Ｋｉ＝（φｉ−θｉ＋αｉ）／（φｉ−θｉ） （１）
を用いて、換算（変換）された各ジョイント部２０５の関節角度：
βｎｅｗｉ＝Ｋｉ・（βｉ−θｉ）＋θｉ （２）
を演算する。そして、このようにして得られた各ジョイント部２０５の関節角度に基づいて、情報処理装置８の画像生成部８３は、仮想空間におけるユーザの指を取り込んで、仮想空間画像を生成（更新）する。
【０１８８】
次に、第２の変換方法は、上述のようにエンコーダ２０８によって検出され、記憶部８５に格納された各ジョイント部２０５の関節角度のずれ量αｉの値をそのまま用いて、この値を各モータ２０１の回転角度のオフセット値として用いるものである。具体的には、上述の力覚提示処理（図２４参照）のステップＳ１０１に示すように、力覚提示装置２では、装置の駆動中（操作中）予め設定された一定周期で、位置姿勢検出部２３によって各ジョイント部２０５の回転角度（関節角度）が検出されている。検出された回転角度と関節角度のずれ量αｉとを用いて、演算処理部８１は、換算（変換）された各ジョイント部２０５の関節角度：
βｎｅｗｉ＝βｉ＋αｉ （３）
を演算する。そして、このようにして得られた各ジョイント部２０５の関節角度に基づいて、情報処理装置８の画像生成部８３は、仮想空間におけるユーザの指を取り込んで、仮想空間画像を生成（更新）する。
【０１８９】
ステップＳ３０８において決定された変換則は、情報処理装置８の記憶部８５の所定の保存領域に格納（保存）されて（ステップＳ３０９）、この画像補正処理を終了する。そして、この画像補正処理によるキャリブレーションを終了すると、力覚提示装置２は、通常モードである力覚提示処理（図２４参照）を駆動中は実行する。このとき、各ジョイント部２０５の関節角度を検出し（ステップＳ１０１）、それに基づいて、ユーザの各指先位置を演算した後（ステップＳ１０２）、この演算結果及び上記ステップＳ３０９において格納された変換則に基づいて、画像生成部８３は、仮想空間画像を更新して生成する。
【０１９０】
例えば、上記第２の変換則を用いた場合、図２９に示すように、ユーザの親指の位置に対して、人差し指の位置が力覚提示部２０６の厚さに対応したずれ量（距離）だけ近づいた状態で、ユーザの手は、仮想空間画像に取り込まれて仮想空間表示装置５に表示される。なお、この図２９（Ｂ）に示すように、仮想空間におけるユーザの指先の画像を補正する場合には、親指を固定し、人差し指の中手指節関節の回転角度（曲げ角度）で調整するのが好ましい。
なお、本実施形態では、具体的な画像の変換方法として、代表的な２つの変換方法を示したが、本発明はこれに限定されず、従来から知られる（公知の）いずれの変換方法が用いられてもよい。また、本発明では、予め計測された力覚提示部２０６の厚みに基づいて、上記関節角度のずれ量を演算してもよい。
【０１９１】
以上のように、本発明における力覚提示装置２、力覚提示システム及び画像補正方法は、ユーザの手（指先）が基準姿勢にある場合における各ジョイント部２０５の関節角度と、ユーザの指先が実摘み位置にある場合における各ジョイント部２０５の関節角度とをエンコーダ２０８を用いて検出するとともに、実摘み位置から演算された仮想摘み位置における各ジョイント部２０５の関節角度を演算し、検出結果及び演算結果に基づいて、実摘み位置と仮想摘み位置の間における各ジョイント部２０５の関節角度のずれ量を演算し、その演算されたずれ量に基づいて変換則を決定するように構成される。そして、本発明の画像補正方法によりユーザ毎にキャリブレーションを取った後、力覚提示装置２及び力覚提示システム１は、通常の力覚提示方法（例えば、図２４のフローチャートに示す力覚提示処理）によって、本発明の力覚提示装置２を装着しているユーザの指先に力覚を提示する。
【０１９２】
したがって、本発明の力覚提示装置２、力覚提示システム１及び画像補正方法によって、実空間では力覚提示部２０６の厚みが存在するために到達不可能（表現不可能）であった力覚が提示されている部位（本実施形態では、ユーザの指先）の位置や姿勢まで仮想空間において表現することができる。それにより、仮想空間において、ユーザの位置・姿勢などの自然な状態を表現することができる。
【０１９３】
また、本発明の力覚提示装置２及び力覚提示システム１では、本発明の画像補正方法（画像補正処理）において得られた関節角度のずれ量をそれ以後の力覚提示処理などにおいて適用する際、仮想空間画像におけるユーザの指先の画像の補正は、主に親指以外の各指の中手指節関節の回転角度によって調整することとしたので、本発明の仮想空間画像は、簡便な方法で（高度な画像補正処理を必要とせず）、自然な表現が可能となる。
【０１９４】
なお、第５実施形態では、ユーザの親指と人差し指の各指先について、本発明の画像補正方法（画像補正処理）を適用した場合について説明したが、本発明は、この場合に限らず、例えば、親指と中指、あるいは親指と薬指のように、掴む動作をした際に接触するであろう任意の２本の指の指先に対して適用することができる。
【０１９５】
また、第５実施形態では、本発明の力覚提示装置２の力覚提示部２０６を装着したユーザの２本の指先におけるキャリブレーションについて説明したが、本発明の画像補正方法は、このような場合（状態）のみに限定されず、例えば、仮想空間中の対象物とユーザの各指の指先との干渉（接触）においても適用可能である。この場合、その対象物に接触している各指先に本発明が適用され、仮想空間画像においてユーザの指先の位置を補正した画像が、情報処理装置８の画像生成部８３によって生成されることとなる。
なお、本発明では、前記各実施形態の任意の２以上の構成（特徴）を適宜組み合わせてもよい。すなわち、本発明では、第５実施形態の力覚提示装置２に他の実施形態の触覚発生部２１などを組み合わせてもよい。
【０１９６】
また、本発明の力覚提示システム１は、情報処理装置８の画像生成部８３によって仮想空間画像を生成し、その仮想空間画像を仮想空間表示装置５に表示するように構成されているが、本発明は仮想空間において適用する場合に限らず、例えば、仮想空間画像を表示せずに、力覚提示装置２と情報処理装置８のみによって構成されてもよい。また、本発明の力覚提示システム１は、上記各装置を一体的に１つの装置、すなわち、力覚提示装置のみとして構成してもよい。
以上、本発明の力覚提示装置及び力覚提示システムの構成を、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。
【図面の簡単な説明】
【図１】本発明の力覚提示装置及びその力覚提示装置を有する力覚提示システムの第１実施形態の構成例を示す概念図である。
【図２】図１に示すリアルグローブの回路構成例を示すブロック図である。
【図３】図１に示すリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【図４】図１に示すリアルグローブの触覚発生部の構成例を示す縦断面図である。
【図５】図１に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図６】図１に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図７】図１に示すリアルグローブの位置姿勢検出部の構成例を示すブロック図である。
【図８】図１に示す仮想空間表示装置の外観構成例を示す斜視図である。
【図９】図１に示す仮想空間表示装置の回路構成例を示すブロック図である。
【図１０】図１に示す仮想空間表示装置の凹凸入力部の構成例を示す図（ブロック図、模式図）である。
【図１１】図１に示す仮想空間表示装置の画像表示部の構成例を示す図（ブロック図、模式図）である。
【図１２】図１に示す仮想空間表示装置の視線検出部の構成例を示す図（ブロック図、模式図）である。
【図１３】図１に示す情報処理装置の回路構成例を示すブロック図である。
【図１４】第２実施形態における力覚提示装置の触覚発生部の構成例を示す縦断面図である。
【図１５】第３実施形態における力覚提示装置のリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【図１６】第４実施形態における力覚提示装置の位置姿勢検出部の構成例を示すブロック図である。
【図１７】第４実施形態における力覚提示装置の位置姿勢検出部の構成例を示す外観図（一部図示を省略）である。
【図１８】図１７に示す位置姿勢検出部のＺ方向検出センサの構成例を示す外観図である。
【図１９】第５実施形態における力覚提示装置を概略的に示す斜視図である。
【図２０】図１９に示す力覚提示装置の１つの指に対応するアーム部の拡大図である。
【図２１】図２０に示すアーム部のジョイント部の断面図である。
【図２２】図２０に示すアーム部の指を挿入する力覚提示部の拡大図である。
【図２３】本発明の一実施形態における図２０に示す力覚提示部の断面図である。
【図２４】本発明の力覚提示処理を示すフローチャートである。
【図２５】本発明のコントラスト提示処理を示すフローチャートである。
【図２６】本発明の画像補正処理を示すフローチャートである。
【図２７】力覚提示手段を装着した２本の指で紙を掴む場合の概念図（補正前）である。
【図２８】力覚提示手段を装着した２本の指を接触させた場合の概念図（補正後）である。
【図２９】本発明の画像補正処理で人差し指を補正した場合の概念図（補正前後）である。
【符号の説明】
１……力覚提示システム、２……力覚提示装置、２ａ……手袋、２ｂ……フレームホルダ、２ｃ……フレームカバー、２ｄ……腕固定部、２０……リアルグローブ、２０ａ……筒状部、２００……アーム部、２０１……モータ、２０１ａ……モータ軸、２０２……クラッチ、２０３……リンク、２０４……連結部、２０５……ジョイント部、２０６……力覚提示部、２０７……ワンウェイクラッチ、２０８……エンコーダ、２０９……ピン駆動による触覚提示部、２１……触覚発生部、２１ａ……開口、２１ｄ……腕固定部本体、２１０……単位触覚発生部、２１１……動力発生部、２１１ａ……モータ、２１２……アクチュエータワイヤ、２１２ａ……束、２１３……ワイヤ保持部、２１４……触覚提示ピン、２１４ａ……接触板、２１４ｂ……支持部、２１５……触覚提示ピン支持部、２１６……触覚提示部、２１６ａ……第１の板片、２１６ｂ……第２の板片、２１６ｃ……接触部、２１７……ガイド部、２１８……押え板、２２……力覚発生部、２２ｄ……エアー注入部、２２１……フレーム、２２２……リンクモータ、２３……位置姿勢検出部、２３ｄ……蓋体、２３１……Ｘ方向検出コイル、２３２……Ｙ方向検出コイル、２３３……Ｚ方向検出コイル、２４……制御部、２５……信号処理部、２５１……増幅部、２５２……Ａ／Ｄ変換部、２６……信号送受信部、２７……遊び吸収部、２８……手首固定部、２９……ねじれ吸収部、２９１……帯状部、２９２……開口、３０……電力供給部、５……仮想空間表示装置、５１ａ、５１ｂ……画像表示部、５１１……レンズ、５１２……レンズ移動機構、５１３……ステッピングモータ、５１４……モータ制御部、５１５……液晶表示パネル、５１６……液晶駆動部、５１７……バックライト、５１８……バックライト制御部、５１９……トランジスタ、５２ａ、５２ｂ……視線検出部、５２１……ハーフミラー、５２２……フィルタ、５２３……レンズ、５２４……ＣＣＤ、５２５……ＣＣＤ制御部、５２６……ＣＣＤ出力増幅部、５２７……ＬＥＤ、５２８……ＬＥＤ制御部、５２９……トランジスタ、５３ａ、５３ｂ……凹凸入力部、５３１……レンズ、５３２……ＣＣＤ、５３３……ＣＣＤ制御部、５３４……ＣＣＤ出力増幅部、５４……制御部、５５……信号送受信部、５６……位置姿勢検出部、５７……装着部、５８……信号処理部、５９……三次元加速度センサ、６０……ケーシング、６１……Ｘ方向検出センサ、６２……Ｙ方向検出センサ、６３……Ｚ方向検出センサ、６４……エリンバー、６５……振動用圧電素子、６６……検出用圧電素子、６７、６８……ワイヤ、６９……交流電源、８……情報処理装置、８１……演算処理部、８２……衝突判定部、８３……画像生成部、８４……制御部、８５……記憶部、８６……信号処理部、８７……信号送受信部、８８……磁界発生部、９……基地局

Claims (15)

1. 仮想空間画像を生成する画像生成手段と、
   前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
   前記仮想空間画像に応じて、ユーザの指に与える力覚を発生する力覚発生手段と、
   前記指に装着され、前記力覚発生手段によって発生された力覚を前記指に提示する力覚提示手段と、
   前記力覚提示手段が装着された指先を対象物に接触させた際、前記表示手段によって表示される仮想空間画像において前記力覚提示手段の厚みを取り除くように、前記画像生成手段によって生成された前記仮想空間画像を補正する画像補正手段と、
   を備えることを特徴とする力覚提示装置。
2. 仮想空間画像を生成する画像生成手段と、
   前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
   前記仮想空間画像に応じて、ユーザの指に与える力覚を発生する力覚発生手段と、
   前記指に装着され、前記力覚発生手段によって発生された力覚を前記指に提示する力覚提示手段と、
   前記力覚提示手段が装着された２本の指先を接触させた際、前記表示手段によって表示される仮想空間画像において前記力覚提示手段の厚みを取り除くように、前記画像生成手段によって生成された前記仮想空間画像を補正する画像補正手段と、
   を備えることを特徴とする力覚提示装置。
3. 前記表示手段は、前記ユーザが前記力覚提示手段を最初に装着したときに前記画像補正手段によって前記仮想空間画像が補正されるように、ユーザへの指示を表示する請求項１又は２に記載の力覚提示装置。
4. 前記力覚提示手段が装着された前記指の仮想空間における位置を検出する位置検出手段を更に備え、
   前記画像補正手段は、前記位置検出手段によって検出された前記２本の指先の位置情報に基づいて、前記力覚提示手段の厚みを取り除くよう構成される請求項１乃至３のいずれかに記載の力覚提示装置。
5. 前記位置検出手段は、前記力覚提示手段を装着したユーザの前記２本の指先が基準姿勢にある状態において、前記指先の仮想空間における位置を検出し、
   前記画像補正手段は、前記２本の指先を接触させたときの位置と前記基準姿勢における前記２本の指先の位置との相対的な位置情報、及び、前記力覚提示手段の厚みを取り除いた際の前記２本の指先の位置と前記基準姿勢における前記２本の指先の位置との相対的な位置情報に基づいて、前記仮想空間における前記２本の指先の一方の指先の位置が、前記基準姿勢の位置と前記力覚提示手段の厚みが取り除かれた場合の接触位置の間において他方の指先の位置から比例拡大された位置になるように、前記仮想空間画像を補正する請求項４に記載の力覚提示装置。
6. 前記画像補正手段は、前記力覚提示手段の厚みをオフセットとして前記仮想空間画像を補正する請求項１乃至３のいずれかに記載の力覚提示装置。
7. 前記力覚提示手段は、複数のリンクと該リンク間を連結する複数の節とから構成されるアーム部と、前記指に装着する力覚提示部と、前記アーム部と前記力覚提示部とを連結する連結部とから構成される請求項１乃至６のいずれかに記載の力覚提示装置。
8. 前記力覚発生手段は、前記複数の節にそれぞれ配置されるモータである複数のアクチュエータから構成される請求項７に記載の力覚提示装置。
9. 前記力覚提示手段は、複数のリンクと該リンク間を連結する複数の節とから構成されるアーム部と、前記指に装着する力覚提示部と、前記アーム部と前記力覚提示部とを連結する連結部とから構成されるとともに、前記力覚発生手段は、前記複数の節にそれぞれ配置される複数のモータから構成され、前記位置検出手段は、前記複数のモータの出力軸に連結された複数のエンコーダによって、前記複数のモータのそれぞれの回転角度を検出することによって前記指先の位置を検出する請求項４又は５に記載の力覚提示装置。
10. 前記位置検出手段によって検出された前記指の仮想空間における位置情報及び予め設定されている仮想空間内の対象物の位置情報に基づいて、前記指が該対象物と干渉しているか否かを判定する干渉判定手段と、
    前記干渉判定手段によって前記指と前記対象物とが干渉していると判定された場合には、前記対象物の物性データ及び状態量データに基づいて、前記指に提示する作用力を演算する演算手段とを更に備え、
    前記力覚発生手段は、前記演算手段の演算結果に基づいて、前記力覚提示手段によって前記ユーザの指先に提示する力覚を発生する請求項４、５及び９のいずれかに記載の力覚提示装置。
11. 仮想空間画像を生成し、生成された仮想空間画像を表示し、前記仮想空間画像に応じて、ユーザの指に与える力覚を発生してその指に装着された力覚提示部によってその力覚を前記指に提示する力覚提示装置の画像補正方法であって、
    前記力覚提示部を装着した前記ユーザの指先を対象物に接触させたときに表示される仮想空間画像において、前記力覚提示部の厚みが取り除かれて前記指先が前記対象物に接触しているように、前記仮想空間画像を補正することを特徴とする画像補正方法。
12. 仮想空間画像を生成し、生成された仮想空間画像を表示し、前記仮想空間画像に応じて、ユーザの指に与える力覚を発生してその指に装着された力覚提示部によってその力覚を前記指に提示する力覚提示装置の画像補正方法であって、
    前記力覚提示部を装着した前記ユーザの２本の指先を接触させたときに表示される仮想空間画像において、前記力覚提示部の厚みが取り除かれて前記２本の指先が接触しているように、前記仮想空間画像を補正することを特徴とする画像補正方法。
13. 前記力覚提示部を装着した前記ユーザの指の仮想空間における位置を検出し、検出された前記指先の位置情報に基づいて、前記力覚提示部の厚みを取り除くように前記仮想空間画像を補正する請求項１１又は１２に記載の画像補正方法。
14. 前記力覚提示部を装着したユーザの前記２本の指先が基準姿勢にある状態において前記指先の仮想空間における位置を検出するとともに、前記２本の指先を接触させた状態における前記指先の位置を検出し、前記２本の指先の接触状態における位置情報に基づいて、前記力覚提示部の厚みを取り除いた際の前記仮想空間における前記２本の指先の位置を演算し、前記基準姿勢にある状態の前記指先の位置と前記接触状態における前記指先の位置又は前記演算された指先の位置との相対的な位置情報に基づいて、前記仮想空間における前記２本の指先の一方の指先の位置が、前記基準姿勢における位置と前記力覚提示部の厚みが取り除かれた場合の接触位置の間において他方の指先の位置から比例拡大された位置になるように、前記仮想空間画像を補正する請求項１２に記載の画像補正方法。
15. 前記力覚提示部の厚みをオフセットとして前記仮想空間画像に表示する前記２本の指先の一方の指先の位置を補正する請求項１２に記載の画像補正方法。

Images