JP7467293B2 - シミュレーションシステム及びシミュレーション方法 - Google Patents

Description

本発明はバーチャルリアリティ（ＶＲ）を利用したシミュレーションシステムとその方法に係り、詳しくは、ユーザに機材、器具、装置等の対象に対する操作を習熟させるための訓練用のシステムに関する。

近年、バーチャルリアリティ（ＶＲ）を利用した、様々なシミュレーションシステムが実現されている。この種のシステムの一例として、細胞培養工程における無菌操作トレーニング向けＶＲソリューションが存在する。これは、無菌室内の設備である安全キャビネットや細胞培養に使用する細胞培養用フラスコ、電動ピペッタといった専用の器具を用いた無菌操作環境を仮想空間内に仮想的に再現し、ユーザが製造時の遵守事項を、ＶＲを通して体感学習できるようにしたものである。

しかしながら、安全キャビネットに於ける現実の操作は、ウィルスによる感染や、その漏洩に警戒しなければならないなど、多くの注意、警戒を必要とするものの、パッド、スティック型のコントローラを利用しただけの訓練は、リアルさ、臨場感に欠け、訓練としては不十分である。

そこで、下記の特許文献１，２に記載されているように、実際の器具を用いて、器具に対する操作をユーザに対してトレーニングできるＶＲシステムが提案されている。

特開２００９－８７１６１号公報 特開２０１８－７７７３２号公報

ＶＲを利用したシミュレーションシステムは、ユーザが器具を現実的に取り扱えるようにしながら、器具とユーザ（手）夫々の位置姿勢をセンサによって検出し、検出値に基づいて、仮想空間内に、器具とユーザの３次元モデルを再現する。そして、システムは、ユーザの視点、視方向から仮想空間内の３次元モデルを撮影して得られた映像を、ユーザが眼前に装着したヘッドマウントディスプレイに再生することができる。したがって、ユーザは、現実的に安全キャビネット等に触ることなく、仮想空間内に再現された仮想環境において、実際の器具を用いたかのような訓練を体験することができる。

しかしながら、既述の特許文献１，２に係るＶＲシステム等、従来のシミュレーションシステムは、器具の位置姿勢と、器具を操作する人体の位置姿勢とを、そもそも、精度が決して十分とは言えないセンサを介して、かつ、夫々別々に検出して、仮想空間に、複数のモデルを複合させていたため、複数のモデルの位置や姿勢が整合しきれない映像を再生してしまうことが頻繁にあった。既述の安全キャビネットでの器具の取扱いなど、ユーザの繊細な動作をシミュレートさせようとすると、例えば、複数のモデル間で僅かながらにもずれがある場合、ユーザに与える違和感は決して無視できないものになっていた。

そこで、本発明は、人が器具を取り扱う操作をＶＲに基づいてシミュレートする際、ユーザにとって違和感が無いように、ユーザ及び器具夫々の３次元モデルを仮想空間内で再現可能なシステム、方法を提供することを目的とする。

前記目的を達成するために、本発明は、コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートするシステムであって、前記コンピュータは、コントローラと、メモリと、を備え、前記コントローラは、前記メモリに記録されたバーチャルリアリティプログラムを実行して、前記対象を操作するユーザの情報を第１の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、前記対象の情報を第２の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、前記ユーザによる前記対象の操作を判定し、当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、というものである。

本発明によれば、人が器具を取り扱う操作をＶＲに基づいてシミュレートする際、ユーザにとって違和感が無いように、ユーザ及び器具夫々の３次元モデルを仮想空間内で再現可能なシステムとその方法を提供することができる。

本発明のシミュレーションシステムの実施形態に係るハードウェアブロック図である。 本発明の対象としてのピペットデバイスの斜視図である。 ピペットデバイス（対象）のモデルとこれを把持するユーザ（手）のモデルとからなる複合モデルの斜視図である。 コンピュータのソフトウェア資源の機能ブロック図の一例である。 複合モデルの他の斜視図である。 把持判定モジュール（図４）の動作の詳細を示すフローチャートの一例である。 手の指の関節位置を示すモデルである。 調整モジュール（図４）の動作の詳細を示すフローチャートの一例である。 複合モデルの他の斜視図である。

本発明に係るシミュレーションシステムは、ユーザの操作対象の機材、器具等の実物に近い模型を利用して、ユーザに、器具の操作のための訓練を提供するというものである。実施形態は、ＶＲ環境下において、ユーザに、安全キャビネットに於ける細胞の取り扱い等、危険を伴う諸操作のための訓練シミュレーションを説明する。実施形態は、電動ピペッタの実物に近い模型をユーザが実際に操作、取り扱えるようにすることを説明する。

シミュレーションシステムは、ＶＲを実現するためのコンピュータを有する。コンピュータは、模型（ピペットデバイス）の位置姿勢とピペットデバイスを把持するユーザ（手）の位置姿勢とに基づいて、これらのモデルを仮想３次元空間に設定する。コンピュータは、所定の視点（仮想カメラ）から仮想空間を見た映像を、ユーザが頭部から眼前に被るヘッドマウントディスプレイ（表示装置）に、手のモデルがピペットデバイスのモデルを把持しながら操作する仮想モデルを再生する。

仮想カメラの位置(視点)と視方向はヘッドマウントディスプレイ内のセンサによって決定される。ピペットデバイスの位置と姿勢の情報は、ピペットデバイス内のセンサによって検出される。ピペットデバイスを掴んでいる手の位置と姿勢の情報は、ユーザが手に被せたグローブデバイスのセンサによって検出される。

ユーザは、手の位置と姿勢、各指の位置と姿勢とを調節しながらピペットデバイスを把持し、これを操作する。ところが、コンピュータは、グローブデバイスとピペットデバイスとからの情報を別々にセンシングしていることと、位置や姿勢をセンシングすることはそもそも容易ではないことから、ユーザはピペットデバイスを実際に把持しているのに、仮想空間内のモデルでは、手のモデルがピペットデバイスモデルを把持すべき位置や姿勢からずれ、これがそのまま映像となって、ユーザに視認されることが頻繁にあった。

このとき、ユーザはピペットデバイスを把持しているにも拘らず、映像にずれがあると、これが強い違和感となって、ユーザの繊細であるべき操作に影響を与え、訓練に悪影響を及ぼす。安全キャビネット内での電動ピペッタの操作のように、注意を払いつつ、微細な動作が必要となるような環境のための訓練に与える、違和感の影響は決して小さいものではない。

そこで、シミュレーションシステムは、ユーザが器具を操作可能になった際に、器具（電動ピペッタ）モデルとユーザ（手）のモデルとの間のずれを解消するようにしている。

図１は、シミュレーションシステムのハードウェア構成図の一例である。シミュレーションシステム１は、コンピュータ１０と、ピペットデバイス（ユーザの操作対象）１２と、ユーザの左右何れかの手あるいは両手に装着するグローブデバイス１４と、ヘッドマウントディスプレイ（ＨＭＤ：表示装置）１６とを備える。コンピュータ１０は、コントローラ２０、メモリ２２、補助記憶装置２４を備える。ピペットデバイス１２、グローブデバイス１４、ヘッドマウントディスプレイ１６は、入力出力Ｉ/Ｆを介してコンピュータ１０に接続されている。コントローラ２０はＣＰＵ及びＧＰＵを備える。メモリ２２は、ＲＡＭおよびＲＯＭなどの記憶媒体から構成される。入力出力Ｉ/Ｆは、無線ＬＡＮ又は有線ＬＡＮに接続するためのＮＩＣとして構成される。コントローラ２０は、ピペットデバイス１２、そして、グローブデバイス１４からの情報を取り込み、センサデータ、モデルデータ等ＶＲ処理の過程で処理されるデータをメモリ２２に記録する。補助記憶装置２４はコンピュータ１０の外部装置として構成されてもよい。

ピペットデバイス１２は、図２に示す様に、電動ピペッタに似せた模型であり、ハンドル１２０と、ハンドルの上端から斜め上方に突出する本体１２２と、本体先端のヘッド１２４とを備える。ヘッド１２４から下方に短尺の疑似ノズル１２６が突出している。ユーザは、ハンドル１２０上端部から突出するボタンの端面に指を添えながら、ハンドルの上端部を握って、ピペットデバイスを支える。人差し指１３０が第１ボタンの端面に当接し、中指１３２が第２ボタンの端面に当接している。符号１４が、ユーザの手に被せた手袋型のグローブデバイスである。図２で示す手の形態が、ユーザがピペットデバイス１２を把持している典型的な姿勢である。手の姿勢は、手首の方向と、各指の方向、即ち、各指の複数の関節夫々の角度、位置によって特徴付けられる。

ピペットデバイス１２とグローブデバイス１４の夫々には、センサが内蔵されている。センサは、例えば、高精度９自由度のＩＭＵセンサ（ジャイロスコープ、加速度計、磁力計搭載の慣性計測装置）でよい。グローブデバイス１４には、そのベース位置（手首の位置）と各指にセンサが設けられている。グローブデバイス１４は、５本の指夫々をトラッキングすることができる。

コントローラ２０はＶＲプログムを実行することによって、センサの出力に基づいて、ピペットデバイス１２のモデルと手のモデル夫々の位置と姿勢を計算し、これらを仮想空間のグローバル座標にマッピングする。外部カメラを用いてピペットデバイス１２およびグローブデバイス１４の位置と姿勢を取得する方法を用いてもよい。図３は、仮想空間の３次元座標系にマッピングされた、ピペットデバイス１２のモデル１２Ａと手のモデル１４Ａとからなる複合モデルの斜視図である。図３は、手のモデル１４Ａがピペットデバイスモデル１２Ａを、図２と同じように把持していることを示している。両モデルの位置姿勢は、位置(x_p,y_p,z_p)，姿勢(a_p,b_p,c_p)で定義される。姿勢はオイラー角で表現してもよいし，四元数で表現してもよい。上記はオイラー角で表現されている。

ピペットデバイス１２、グローブデバイス１４に、バイブレーション機能を搭載させて、コンピュータ１０は、ＶＲ体験中の各種情報を、触覚としてユーザにフィードバックさせてもよい。また、コンピュータ１０は、ＨＭＤ１６に、手のモデル１４Ａとピペットデバイスモデル１２Ａの他、ピペットデバイスの適正操作を促す等の操作支援情報を表示することもできる。コンピュータ１０は、ＶＲを利用したアプリケーションプログラムを実行して、センサからの信号に基づいて、仮想的な安全キャビネット内で手のモデル１４Ａがピペットデバイスモデルを把持している映像（図３）を、ＨＭＤ１６を介してユーザに再現する。ピペットデバイスモデル１２Ａのデフォルトデータ、そして、手のモデル１４Ａのデフォルトデータは、夫々のローカル座標に基づいて定義され、かつ、メモリ２２、又は、補助記憶装置２４に保存されている。コントローラ２０はセンサ情報とデフォルトデータに基づいて、モデルの特徴データ（位置、姿勢）を算出する。

コンピュータ１０は、ユーザが対象を操作できる状態、換言すれば、ユーザが対象の操作準備状態になったことを判定して、ユーザモデルの操作対象モデルに対する配置を調整してユーザモデルと操作対象モデルとの間のずれを解消し、故に、ユーザの違和感の改善を図るようにしている。この実施形態において、コンピュータは、ユーザがピペットデバイス１２を操作できる状態を、ユーザがピペットデバイス１２を把持していることとして判定する。

図４は、コンピュータ１０のソフトウェア資源の機能ブロック図である。コンピュータ１０のソフトウェア資源は、ユーザモデル設定モジュール１０１、操作対象モデル設定モジュール１０２とを備える。モジュール１０１は、グローブデバイス１４からのセンサ情報に基づいて手モデル１４Ａの位置と姿勢とを計算して手モデル１４Ａを設定し、手モデル１４Ａを仮想３次元空間にマッピングする。

操作対象モデル設定モジュール１０２は、ピペットデバイス１２からのセンサ情報に基づいてピペットデバイスモデル１２Ａの位置と姿勢とを計算してピペットデバイスモデル１２Ａを設定し、これを仮想３次元空間にマッピングする。

さらに、コントローラ１０は把持判定モジュール１０３を備える。把持判定モジュール１０３は、ユーザがピペットデバイス１２を把持しているか否かを判定する。把持のための判定には、ピペットデバイス１２にタッチセンサを設ける態様が例えばある。あるいは、把持判定モジュール１０３は、メモリ２２に予め登録されている、把持のための典型的、或いは、最適な姿勢の手モデル（典型的モデル１０４：図３の形態の手モデル）のデータ（姿勢）を読み込み、グローブデバイス１４のセンサデータに基づいて設定した手モデル１４Ａのデータを、ピペットデバイス１２のセンサデータに基づいて設定したピペットデバイスモデル１２Ａのデータの相対座標系に変換した結果と、典型的モデル１０４のデータとを比較する。この比較については後述する。

コンピュータ１０は、さらに、把持の有無の判定結果１０５と、ピペットデバイスモデル１２Ａと、手モデル１４Ａとに基づいて、ユーザモデル（手モデル）１４Ａが操作対象モデル（ピペットデバイスモデル）１２Ａを把持している複合モデルにおいて、ユーザモデル（手モデル）１４Ａの操作対象モデル（ピペットデバイスモデル）１２Ａに対する配置の調整を実行する調整モジュール１０８を備える。

さらにコンピュータ１０は調整モジュール１０８の結果を受けて、仮想空間の複合モデルに基づいてＶＲ処理を実行するＶＲモジュール１１１を備える。ＶＲモジュール１１１は、ＨＭＤ１６のセンサ情報（視点位置、視線方向）に基づいて、仮想空間の複合モデルを視点座標系に変換した後レンダリングを実行し、さらに、ＨＭＤ１６の表示パネル用のフレームバッファに画像情報をロードする。

ＨＭＤは画像情報に基づいて、表示パネルにＶＲ映像１６Ａを表示する。既述の図３は手のモデルがピペットモデルを把持しているＶＲ映像の一例である。ＶＲモジュール１１１は、仮想空間内に複合モデルを含めたシミュレーション環境を再現し、所定の視点から仮想空間内の安全キャビネ内部構造と複合モデルとを撮影した動画像（ＶＲ映像１６Ａ）をユーザに提供する。

モジュールとは、コントローラがプログラムを実行することによって実現される機能の単位であって、手段、ユニット、処理、部、機能、エレメント等他の関連用語によって、言い換えられてもよい。モジュールの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。プログラム、テーブル、ファイル等の情報は、ハードディスクドライブ、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）メモリカード、ＤＶＤ（Digital Versatile Disc）等の可搬型或いは非可搬型記録媒体に記録しておくことができる。補助記憶装置には、安全キャビネット等シミュレーション環境のための３次元データが予め記録されている。

ユーザはシミュレーションを開始する際、頭部にＨＭＤ１６を装着し、そして、利き手にあるいは両手にグローブデバイス１４を装着する。次いで、ＨＭＤ１６は、ユーザに安全キャビネット内のピペットデバイス１２を持つことを促すメッセージを表示する。この時のメッセージは、図３のモデル図を表示しながら、“ピペットデバイスを表示しているように持ってください”といった類でよい。ユーザはＨＭＤ１６を介して、安全キャビネット内に置かれているピペットデバイスを認識することができる。ユーザがＨＭＤを被ったまま、ピペットデバイスを視認し易いように、ＨＭＤを透過型液晶タイプのものにしてもよい。なお、安全キャビネット内の試薬、検体、フラスコ、チューブ等の検体/試薬容器等の関連備品は、仮想環境によって疑似的にユーザに提供されるために、不要である。コントローラ２０は把持判定モジュール１０３と調整モジュール１０８とを動作させる。

次に、把持判定モジュール１０３と調整モジュール１０８の動作の詳細について説明する。図５は、ユーザがピペットデバイスを実際には把持しているものの、センサ情報に基づいて仮想空間にマッピングされた複合モデルにおいては、手モデル１４Ａがピペットデバイスモデル１２Ａの下方にずれて(４００)、ピペットデバイスモデル１２Ａのボタンから指が離れてしまっていることを示している。ユーザにとっては、実際には、ピペットデバイス１２を把持している筈が、ＶＲ映像１６Ａではそのようになっていないことに、違和感を持たざるを得ない。コンピュータ１０は、この違和感を解消するために、複合モデルに於けるずれの解消を目的として、ピペットデバイスモデル１２Ａおよび手モデル１４Ａの配置を調整する。調整は、補正、変更、修正、そして、訂正を含む。

図６は、把持判定モジュール１０３の動作の詳細を示すフローチャートである。このフローチャートは、ユーザがピペットデバイス１２を把持しているか否かを判定するためのものであり、コントローラ２０は、このフローチャートを所定時間毎に繰り返し実行する。既述のとおり、把持判定モジュール１０３は、センサデータに基づいて設定した手のモデル１４Ａの特徴（姿勢）を、センサデータに基づいて設定したピペットデバイスモデル１２Ａの相対座標系に変換し、その結果を、手の典型的モデル１４Ｂ（図７）の特徴と比較して、同じか、近い場合に、ユーザはピペットデバイス１２を正しく把持している、と決定する。

この比較は例えば次の様にして行われる。把持判定モジュール１０３は、センサからの実測値に基づいて設定した手のモデル１４Ａをピペットデバイスモデル１２Ａのローカル座標系に変換して、図７（１）に示す様に、手のモデル１４Ａがピペットデバイスモデル１２Ａを把持している姿勢位置に実測モデル（手のモデル）１４Ａを配置する。同様に、把持判定モジュール１０３は、図７（２）に示す様に、手の典型的モデル１４Ｂを典型的ピペットデバイスモデル１２Ａのローカル座標系に変換して、手の典型的モデル１４Ｂがピペットデバイスモデル１２Ａを把持している姿勢位置に典型的モデル１４Ｂを配置する。

把持判定モジュール１０３は、典型的モデル１４Ｂと実測モデル１４Ａとの間で、両者の姿勢距離を算出する（Ｓ６００）。姿勢距離の算出は、例えば、図７（３）に示す様に、二つのモデル間で対応する関節同士の距離（Ｌ）を算出し、そして、全ての関節の距離の二乗和を合計して総和を求めることによって行う。手の典型的なモデルにおける関節の座標をＰｊ（ｊ（１≦ｊ≦ｎ、ｎ：全関節数））とし、センサデータから計算した手のモデルにおいて、Ｐｊの関節に対応する、関節の座標をＱｊ（ｊ（１≦ｊ≦ｎ、ｎ：全関節数））とすると、既述の総和（姿勢距離：ｄ）は、
ｄ＝Σ^ｎ _ｊ｜Ｐｊ-Ｑｊ｜²
で定義される。なお、対応する関節間で、距離の算出に代えて角度の差分を算出してもよく、又は、両方を合わせてもよい。

次いで、把持判定モジュール１０３は、姿勢距離の差分（ｄ）をａ、ｂ（ａ≦ｂ）と比較する（Ｓ６０２）。ａは、把持判定用閾値であって、差分（ｄ）がａ以下の場合には、実測モデル１２Ａの関節位置が典型的モデル１２Ｂの関節位置に近いために、両者のモデルの姿勢が実質的に同一であるといえ、これによって、把持判定モジュール１０３は、ユーザがピペットデバイス１２を実際に正しく把持していると判定する。

ｂは、非把持判定用閾値であって、差分（ｄ）が、ｂ以上の場合には、実測モデル（ピペットデバイス）１２Ａの関節位置が典型的モデル１２Ｂの関節位置から離れているため、把持判定モジュール１０３は、ユーザがピペットデバイス１２をまだ把持していない、あるいは、ユーザがピペットの把持をリリースしたと判定する。なお、ｂがａより大きいのは、ｂがａと同じであると、把持と非把持の切替えがＶＲ映像１６Ａにおいて過敏になり、これを防ぐためである。なお、ｂ＝ａであることを妨げない。

把持判定モジュール１０３が、ｄ≦ａを判定すると（Ｓ６０２）、把持フラグ（Ｆ１）の値に１を設定する（Ｓ６０４）。Ｆ１は、ユーザがピペットデバイス１２を把持しているか否かの制御情報であって、メモリ２２の所定領域に設定されている。“Ｆ１＝１”は把持を、“Ｆ１＝０”は非把持を示す。

把持判定モジュール１０３がｄ≧ｂを判定すると（Ｓ６０６）、把持フラグ（Ｆ１）の値を０にリセットする（Ｓ６０８）。なお、ＶＲプログラムがスタートした時点では、Ｆ１は０（非把持）に設定されている。ａ＜ｄ＜ｂの場合には把持フラグ（Ｆ１）の値は変更されない。これにより、前述のように、把持と非把持の切り替えが過敏になることを防ぐことが可能である。

図８は、調整モジュール１０８の動作の詳細を示すフローチャートである。コンピュータ１０は、このフローチャートを所定時間毎に繰り返し実行する。図５は手モデル１４Ａとピペットデバイスモデル１２Ａとの間にずれが存在する斜視図を示している。調整モジュール１０８は、後述するようにこのずれを解消する。

コントローラ２０は、図６のフローチャートを実行することによって、対象の操作可能状態（把持）の判定フラグ（Ｆ１）を決定する。コントローラ２０は調整モジュール１０８を実行して、このフラグに基づいて、ずれを解消するための処理を実行する。

調整モジュール１０８は、Ｆ１をチェックして、Ｆ１＝１を判定すると（Ｓ８００：Ｙ）、手モデル１４Ａの代表位置を算出する（Ｓ８０２）。代表位置とは、図９に示すように手モデル１４Ａとピペットデバイスモデル１２Ａとの接触に重要な点であり、コントローラ２０は、あらかじめ手モデル１４Ａに設定しておく。図９では、代表点Ｓ_１は中指の先端位置であり、代表点Ｓ_２は人差し指の先端位置、代表点Ｓ_３は手のひら上の点である。コントローラ２０は、手モデル１４Ａの画像を特徴分析して、これら代表点を認識する。

次に調整モジュール１０８は拘束条件を算出する（Ｓ８０４）。図９に示すように代表点Ｓ_１は対応するピペットデバイスモデル１２Ａの第２ボタン位置Ｔ_１と一致する必要がある。同様に代表点Ｓ_２は対応するピペットデバイスモデル１２Ａの第１ボタン位置Ｔ_２と一致する必要がある。さらに、代表点Ｓ_３はピペットデバイスモデル１２Ａの表面上に位置する必要がある。以上がＳ８０４で算出された拘束条件である。

次に、調整モジュール１０８は拘束条件の解法を行う（Ｓ８０６）。この解法は公知の逆運動学を用いて実行できる。すなわち、調整モジュール１０８は、Ｓ_１，Ｓ_２、Ｔ_１、Ｔ_２の位置拘束、Ｓ_３が表面上に存在するという位置拘束を満たす手モデル１４Ａの位置姿勢、手モデル１４Ａの関節角度、ピペットデバイスモデル１２Ａの位置姿勢を求める。

Ｓ８０６において、調整モジュール１０８は、手モデル１４Ａとピペットデバイスモデル１２Ａとの少なくとも一方の配置を調整する。ここで、手モデル１４Ａの位置姿勢、ピペットデバイスモデル１２Ａの位置姿勢については、どちらを優先的に変更するかを指定することが可能である。例えば、手モデル１４Ａの位置姿勢を優先的に変更する場合にはピペットデバイスモデル１２Ａの位置姿勢は変更しないで、手モデル１４Ａの位置姿勢を変更できる。逆に、手モデル１４Ａの位置姿勢を優先することも可能である。

調整は、１フレームで完了される場合の他、複数のフレームを跨いでもよい。これは、１フレームで調整を完了させるとＨＭＤ１６に表示される手モデルやピペットデバイスモデルの位置が急激に変化するために、使用者に不自然な感覚を生じさせることを防ぐためである。調整モジュール１０８は複数のフレームの間、ずれが解消されるまで、調整を継続する。このためには、拘束条件の解法（Ｓ８０６）において、手モデル１４Ａの位置姿勢、手モデル１４Ａの関節角度、ピペットデバイスモデル１２Ａの位置姿勢の変化量があらかじめ設定された閾値よりも大きい場合には、その閾値に変化量を制限することで実現できる。

既述の実施形態は、ユーザが安全キャビネット内で電動ピペッタを操作することをシミュレートするコンピュータシステムであったが、これに限らず、ユーザが工場内で工作器具を操作するなど、器具の操作にユーザの経験やスキルを要する現場作業をシミュレートすることにも本発明を適用することができる。

既述の実施形態では、センサによって位置と姿勢を検出したが、これらをカメラによって検出してもよい。また、手の大きさをカメラ等によって検出し、手の大きさを手のモデルの姿勢、位置に反映させてもよい。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１ シミュレーションシステム
１０ コンピュータ
１２ ピペットデバイス（第１の装置）
１４ グローブデバイス（第２の装置）
１６ ＨＭＤ（表示装置）
２０ コントローラ
２２ メモリ

Claims (6)

1. コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートするシステムにおいて、
   前記コンピュータは、
   コントローラと、
   メモリと、
   を備え、
   前記コントローラは、前記メモリに記録されたバーチャルリアリティプログラムを実行して、
   前記対象を操作するユーザの情報を第１の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、
   前記対象の情報を第２の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、
   前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、
   前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、
   前記ユーザによる前記対象の操作を判定し、
   当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、
   前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、
   シミュレーションシステムであって、
   前記コントローラは、
   前記ユーザが前記対象を把持したことに基づいて、当該ユーザによる当該対象の操作を判定し、
   前記ユーザによる前記対象の把持を、前記ユーザのモデル及び前記対象のモデルと、典型的モデルとの比較に基づいて判定し、当該典型的モデルは、前記ユーザが前記対象を把持する当該ユーザのモデルであり、予め、前記メモリに記録され、
   さらに、前記コントローラは、
   前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルとを、位置と姿勢の少なくとも一つにおいて比較し、
   前記比較の結果、前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルと、の特徴量の差分を求め、
   当該差分に基づいて、前記ユーザが前記対象を把持していることを判定する、
   シミュレーションシステム。
2. 前記ユーザのモデルが当該ユーザの手のモデルであり、
   前記対象のモデルが前記ユーザによって把持される器具のモデルであり、
   前記コントローラは、
   前記手のモデルが前記器具のモデルを操作可能な位置と姿勢で表示されるように、前記仮想空間に於ける、前記手のモデル及び前記器具のモデルの配置を調整する、
   請求項１記載のシミュレーションシステム。
3. 前記コントローラは、
   前記仮想空間に於ける、前記手のモデルと前記器具のモデルとのずれが解消されるように、前記手のモデルおよび前記器具のモデルの配置を調整する、
   請求項２記載のシミュレーションシステム。
4. 前記ユーザのモデルが当該ユーザの手のモデルであり、
   前記コントローラは、前記第１の装置から入力された情報に基づいて設定された手のモデルの指関節と前記典型的モデルである手のモデルの指関節との間の距離を、前記特徴量の差分とする、
   請求項１記載のシミュレーションシステム。
5. 前記コントローラは、前記ユーザが前記対象を把持していることを判定すると、前記ユーザのモデルと前記対象のモデルとの間の拘束条件の解法を実行し、当該解法の結果に基づいて、前記ユーザのモデルと前記対象のモデルとのずれが解消されるように、両方のモデルの配置を調整する、
   請求項１のシミュレーションシステム。
6. コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートする方法であって、
   前記コンピュータは、
   メモリに記録されたバーチャルリアリティプログラムを実行して、
   前記対象を操作するユーザの情報を第１の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、
   前記対象の情報を第２の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、
   前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、
   前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、
   前記ユーザによる前記対象の操作を判定し、
   当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、
   前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、
   シミュレーション方法であって、
   前記コンピュータは、
   前記ユーザが前記対象を把持したことに基づいて、当該ユーザによる当該対象の操作を判定し、
   前記ユーザによる前記対象の把持を、前記ユーザのモデル及び前記対象のモデルと、典型的モデルとの比較に基づいて判定し、当該典型的モデルは、前記ユーザが前記対象を把持する当該ユーザのモデルであり、予め、前記メモリに記録され、
   さらに、前記コンピュータは、
   前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルとを、位置と姿勢の少なくとも一つにおいて比較し、
   前記比較の結果、前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルと、の特徴量の差分を求め、
   当該差分に基づいて、前記ユーザが前記対象を把持していることを判定する、
   シミュレーション方法。

Images