JP6057098B2 - ビジュアルおよびインタラクティブシステムのための同期、識別および追跡のための低干渉システムおよび方法 - Google Patents

Description

本発明は概して、ビジュアルシステムおよび特にインタラクティブデータプロジェクタの同期のためのシステムおよび方法であって、同期は、ペン、カメラおよびタッチ入力デバイス内に組み込まれるべき識別および追跡のためのシステムおよび方法をさらに含み、それにより、こうしたビジュアルシステムが一般的なリモートコントローラまたは受信器に干渉しない、またはそれを乱さないようにし、さらに、前述の２つ以上のこうしたビジュアルシステムが互いに同期され、協働することができるようにする、システムおよび方法に関する。

インタラクティブデータプロジェクタは、物理的なインタラクティブホワイトボードおよびインタラクティブフラットスクリーン内に含まれるもののようなインタラクティブ面を作り出すが、座標データおよびさらにユーザ作動情報（タッチする、タッチしない、先端が押される、先端が放される）は、表面自身の内部に組み込まれる電磁的、光学的または音響的方法を用いる代わりに、プロジェクタにおいて設置されるカメラ技術を用いることによって、画像から抽出される。プロジェクタに適したカメラベースのインタラクティブ技術の例が、例えば、本発明者および出願人によって、カメラおよび画像認識システムが追跡することができる光学的パターンを有するペンを用いる国際公開第２００１ＮＯ００３６９号／米国特許第７０８３１００Ｂ２号および／または国際公開第２００６１３５２４１Ａ１号／米国特許出願公開第２００９０４０１９５Ａ１号によって開示されている。他のシステムは以下のものがある：日本特許第３２５７５８５号：（株式会社ビジュアルサイエンス研究所、出願日：１９９６年３月２９日、特願平０８−０７５９５０号）。同特許は、ＩＲ放出体、および反射器を有する位置指示デバイスを有するカメラであって、カメラはＩＲを検出し、位置指示デバイスの位置を見つけ出す、カメラを開示している。しかし、カメラと位置指示デバイスとの間の同期は何も開示されていない。日本特許第４７２８５４０号：（株式会社リコー、出願日２００１年９月２０日、特願２００１−２８７９０１号）は、反射器上に何らかのパターンを有する位置指示デバイス、および位置指示デバイスの符号パターンを有する光を検出し、制御情報を見つけ出すカメラを開示している。日本特許第４０３７８２２号（ＮＥＣディスプレイソリューションズ株式会社、出願日：２００３年１２月５日、特願２００３−４０７８８４号）は、カメラからの光信号を受信する位置指示デバイス、およびカメラからの放出信号に応答して光を放出する位置指示デバイスを開示している。米国特許第６５２９１８９号（ＩＢＭ、出願日２０００年２月８日、米国特許出願第０９／５００１９４号）は、ＩＲ構成要素を有し、制御情報を含む光を放出する位置指示デバイス、およびその光を受信するカメラを開示している。

本発明の一態様は、プロジェクタもしくはディスプレイのようなユニットと、カメラと、関連する特に光入力デバイスとを含む、ビジュアルおよびインタラクティブビジュアルシステムのための、いくつかのこうしたユニットの同期のためのシステムおよび方法であって、同期において、プロジェクタもしくはディスプレイまたは着用式ディスプレイグラスによる画像およびビデオに関するそれらの出力内容、カメラによってキャプチャされる画像およびビデオに関するそれらの入力内容、可視光および／または赤外光に関するそれらの照射機能、ならびにペン、位置指示棒、指等のような入力インタラクションツールの位置追跡および入力制御機能に関するそれらのユーザインタラクション機能は全て、同じ同期制御バーストによって制御され、それにより、インタラクティブ出力イベントを適時に同時に開始することができる、およびインタラクティブ入力イベントを首尾一貫して解釈することができるなど、ユニットは協働するようになることができる、システムおよび方法を提供することである。

本発明のさらなる態様は、同期システムの干渉および外乱は取るに足らなくなることである。すなわち、同期バーストはまれにしか生じないため、それらは、ＡＶ機器内に通常含まれるリモートコントローラ受信器およびリモート制御送信器を著しく乱すことも、それらによって著しく乱されることもなくなることである。

カメラ技術は単純であるが、正確であり、非常に高速であり、かつ信頼性が高く、さらに、データプロジェクタまたはディスプレイ内への統合が容易である。カメラ技術は解像度、感度、サイズおよび性能の面で急速に進化している。市販の画像センサは、例えばプログラム可能なレート、解像度、サイズ、利得および露出時間を用いて静止画像およびビデオ画像をキャプチャすることができる。

本発明のさらなる説明において、カメラは、画像のキャプチャに適した画像センサおよびレンズを含み、キャプチャされた画像をコンピュータへの入力として転送するための通信手段を含むものとして理解されるべきである。さらに、カメラは、特別な特徴を有する特定のディテールを検出し、これらを追うために特徴抽出、オブジェクト認識およびオブジェクト追跡を遂行し、さらに、それらをいくつかの特定のインタラクションオブジェクトのデータモデルと比較して突き合わせ、インタラクションオブジェクトの位置および配向を判定するべくその結果をインタラクション面またはインタラクション空間座標内に位置付けることによって、これらのディテールを解釈する画像処理手段を含んでもよい。さらに、カメラは、インタラクションオブジェクト識別、ならびに先端スイッチが押されている、先端スイッチが放されている、ボタンが押されている、ボタンが放されている、指が触れているまたは指が触れていない等のようなユーザインタラクション動作を抽出するための、一連のキャプチャされた画像内の特定のディテールの強度レベルの解釈を含んでもよい。さらに、カメラは、検出されたインタラクションオブジェクトの識別、位置、配向、およびユーザインタラクション動作をコンピュータへの入力として転送する通信手段を含んでもよい。

本発明の諸態様は、近赤外線光（ｎｅａｒ ｉｎｆｒａｒｅｄ ｌｉｇｈｔ、ＮＩＲ）を照射、追跡および識別に利用するカメラベースのインタラクティブプロジェクタに関し、赤外線送信または無線周波数送信を用いることによってペンおよびプロジェクタをどのように効果的に同期させるのかをさらに開示する。本発明の方法の諸態様は、ペン、およびインタラクティブプロジェクタのカメラユニットが、ペンにおける電力消費を低減し、電池寿命を延ばすためにどのように同期され、さらに、動きを凍結させ、信号／雑音比を増大させるために同期されるのか、ならびにさらに、室内のいくつかのインタラクティブプロジェクタに属する多数のペンおよびカメラユニットが、いくつかのプロジェクタとペンとの間の相互運用性をさらに提供するためにどのように同期され、他の目的のために存在するリモートコントローラとの容認できない干渉を生じさせないようにするのかを含む。さらに、同じ同期の原理は任意追加的に、この同期に必要な通信トラフィックの低さのおかげで、数マイクロ秒の精度の範囲内で、他の同じ室内のリモートコントローラの機能を乱すことなく−いくつかのプロジェクタの投影画像を同期させるため、いくつかのフラットパネルディスプレイの画像を同期させるため、マルチメディアグラスの表示パネルを同期させるため、３Ｄゴーグルのアクティブ３Ｄシャッターを同期させるため、および室内のいくつかのカメラの露出を同期させるために、用いることができる。同期原理は、消費者用およびプロ用の電子機器におけるリモート制御機能における低コストの構成要素である、標準的な近赤外線受信器および送信器を利用することができる。同期は任意選択的に、消費者用およびプロ用の電子機器におけるリモート制御機能における低コストの構成要素である、標準的な低コストの無線周波数受信器および送信器を利用することができる。

本発明のさらなる態様は、可視光および／または近赤外線発光体にとって最も効果的な電力バジェット、ならびにペンおよびその他の能動的インタラクションデバイス内の近赤外線発光ダイオード（ｉｎｆｒａｒｅｄ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＩＲＥＤ）にとって最も効果的な電力バジェットを提供することである。効果的な電力バジェットを確実にすることは、照射光源およびＩＲＥＤ構成要素の加熱を抑え、寿命を延ばすため、電力制御回路および電源のコストおよびサイズを低減するため、および電池で動作する機器における電力消費を最小限に抑え、電池寿命を最大限延ばすために、重要である。

本発明のさらなる態様は、カメラのグローバルシャッターへの発光体の点滅の正確な同期、およびカメラのグローバルシャッターへのペンおよびその他の能動的インタラクションデバイス内のＩＲＥＤの点滅の正確な同期によって、カメラユニットによってキャプチャされる画像およびビデオの最良の信号対雑音比を提供することである。

本発明のさらなる態様は、シーン内におけるオブジェクトの速い動きによる不鮮明化が、上述のカメラのグローバルシャッターに緊密に同期された点滅によって効果的に低減されることになることである。

同様に、本発明の一態様は、データプロジェクタまたはフラットパネルディスプレイを３Ｄシャッターグラスに同期させること、あるいは任意選択的に、２つ以上のプロジェクタまたはディスプレイを３Ｄシャッターグラスに同期させることによって、より大きく、かつ／またはより広い３Ｄディスプレイを提供することである。２０１２年２月９日に公開された、セイコーエプソン株式会社、日本の堀口宏貞（Ｈｉｒｏｓａｄａ ＨＯＲＩＧＵＣＨＩ）による米国特許出願公開第２０１２０３３０５７（Ａ１）号：「電子光学デバイスおよび立体視ディスプレイ装置（ＥＬＥＣＴＲＯ−ＯＰＴＩＣ ＤＥＶＩＣＥ ＡＮＤ ＳＴＥＲＥＯＳＣＯＰＩＣ ＶＩＳＩＯＮ ＤＩＳＰＬＡＹ ＡＰＰＡＲＡＴＵＳ）」には、プロジェクタと共に用いられるアクティブ３Ｄシャッターグラスの例が記載されている。ソニー株式会社、日本による国際公開第２０１２／００５９６８（Ａ１）号は、ＲＦ信号およびＩＲ信号の組み合わせに基づくシャッターグラスリピータシステムの一例を記載しているが、それは、範囲を広げ、彼らが提案する同期方式を実装するために異なる種類の変換およびリピータ機能を行うように適合されたテレビリモートコントローラユニットを用いることに依存する。本発明において提案されているリッスン・アンド・リピート方式は、信号要件を単純にし、リモートコントローラユニットが同期機能を実装する必要性を取り除くことになる。革新的なリッスン・アンド・リピート原理の１つの利点は、ユニットの同期用の短いバーストがユニット自身によって部屋中に伝播されることを含む。

本発明のさらなる態様は、着用式半透明ディスプレイグラス（マルチメディアグラス）を他の上述のユニットのうちの１つ以上と同期させ、ペンまたは「フィンガータッチ」のサポートとしての同期されたインタラクティブな機能性を有する着用式ディスプレイのような新しいインタラクティブ機能を提供することである。

本発明のさらなる態様は、着用式半透明ディスプレイグラスまたは３Ｄシャッターグラスを他の上述のユニットのうちの１つ以上と同期させ、同期された半透明ディスプレイグラスおよびその関連出力内容を通して見たとき、あるいは同期された３Ｄシャッターグラスを通して見たとき、ならびに任意選択的に、着用式の同期されたカメラ、同期された照射および／または同期されたインタラクションオブジェクトによって制御されたとき、ユーザが知覚しているシーンは、プロジェクタおよび／またはディスプレイの同期された出力内容となるような、３Ｄまたは拡張現実感機能を提供することである。

本発明の第１の態様によれば、１つ以上のユニットを含むビジュアルシステムであって、ユニットはデータプロジェクタもしくはディスプレイであるか、またはビデオカメラ、あるいは両者の組み合わせであり、データプロジェクタおよびディスプレイは、コンピュータからの画像およびグラフィック出力を画像出力レートで表示することができ、ビデオカメラはシーン内のオブジェクトの画像を画像入力レートでキャプチャすることができ、上述のユニットは受信器を有する、ビジュアルシステムが提供される。ユニットは、送信器であって、この送信器は、ビジュアルシステム内の全てのユニットを互いに同期させるために、一連の低頻度の短い繰り返しバーストを送信することを、このようなバーストが受信器によって所与の時間以内に受信されない場合には、開始し、さもなければ、送信器によって低頻度の短い繰り返しバーストに同期された、遅延された短いバーストを送信し、その間、低頻度の短い繰り返しバーストは他の目的のためのリモートコントローラの一般的使用に干渉することもなく、それによって干渉されることもない、送信器を有する。

同期は低頻度の短い繰り返しバーストを用いて確立されるという点において、本システムは有利である。バーストは低頻度のものである。すなわち低い繰り返し率を有するので、システムは、無線リモートコントローラユニットおよび無線リモート制御受信器がほとんど常に動作することを許し、それゆえ、それらは同期システムによって著しく干渉されることはない。さらに、他のリモート制御送信器の信号は長さおよび繰り返し率ならびに任意選択的に符号化が同期バーストとは異なっている限り、同期システム自身は他のリモート制御送信器によって著しく影響を受けることはないという点において、本システムは有利である。

提案されている同期システムおよび方法は、ＮＩＲ／ＩＲ受信器および送信器あるいはＲＦ受信器および送信器を用いる無線式の実装に適用することができるが、同じ同期原理は、例えば、電線の対によるかまたは光ファイバによる有線式の解決法にもなり得る。この場合、信号は、例えば、単一の双方向信号を作るためにオープンドレイン出力および入力に接続された、プルアップされた単一の線を用い、変調されたバーストとなるかまたは変調を用いないデジタルとなり得る。本発明の構成によっては、例えば、インタラクティブプロジェクタは講義台または演壇にあり、その一方、講義をキャプチャするための数台のビデオカメラは部屋の後端部内にあり、そのため、無線送信のみによって同期を行うには無線送信の品質があまりにも悪くなり得る大きな講義室内では、無線式および有線式を組み合わせた同期が好ましい場合がある。同様に、本発明に係る、各々、１つ以上のユニットからなる２つ以上のビジュアルまたはインタラクティブビジュアルシステムが、大きな物理的距離によって分離されている場合には、それらは異なる同期を有してもよく、それにより、システムは互いを乱す可能性があり、このとき、大きな物理的距離を越えてシステムを同期させるために、無線式および有線式の組み合わせの同期が利用されてもよい。

本発明の第２の態様によれば、１つ以上のユニットを含むビジュアルシステムを用いる方法が提供される。ユニットはデータプロジェクタもしくはディスプレイであるか、またはビデオカメラ、あるいは両者の組み合わせであり、データプロジェクタおよびディスプレイはコンピュータからの画像およびグラフィック出力を特定のレートで表示することができる。ビデオカメラはシーン内のオブジェクトの画像を特定のレートでキャプチャすることができ、上述のユニットは受信器を有する。ユニットは送信器を有する。本方法は、ビジュアルシステム内の全てのユニットを互いに同期させるために、送信器による低頻度の短い繰り返しバーストの送信を、このようなバーストが所与の時間内に受信器によって受信されない場合には、開始し、さもなければ、受信器によって短い繰り返しバーストを受信し、既定の時間の後、送信器によって同様のバーストを繰り返すことを含み、その間、バーストは他の目的のためのリモートコントローラの一般的使用に干渉することもなく、それによって干渉されることもない。

本発明の諸態様は、関係するユニットが互いに同期されるビジュアルシステムを提供する。

ユニットの同期は、プロジェクタ画像および／またはディスプレイ画像の出力の出力レートおよび厳密なタイミングは内部同期信号に正確に合わせられ、内部同期信号は、推定、すなわち上述の低頻度の短いバーストのシーケンス内の各バーストの開始時間の時系列の平均化に基づくことを意味する。

対応して、ユニットの同期は、カメラによる画像のキャプチャ、関連する露出制御、ならびに任意追加の点滅発光体の入力レートおよび厳密なタイミングは内部同期信号に正確に合わせられて関連付けられ、内部同期信号は、推定、すなわち上述の低頻度の短いバーストのシーケンス内の各バーストの開始時間の時系列の平均化に基づくことを意味する。

対応して、ユニットの同期は、能動的インタラクションオブジェクト内に含まれる少なくとも１つの近赤外線発光ダイオード（ＩＲＥＤ）の点滅シーケンスのタイミングは、低頻度の短いバーストのうちの少なくとも１つに合わせられることを意味し、それにより、カメラ露出シャッターが作動するのと同時にシーケンス内の点滅イベントを作動させることができ、非常に良好なカメラの露出が提供され、シーン内の動くオブジェクトによる不鮮明化が軽減され、インタラクションデバイス内の電力消費が低減される。インタラクションデバイス内に含まれる正確なローカルの水晶ベースのタイマを用いることで、たとえ新しいバーストが数秒間検出されなくても、点滅イベントのタイミングはカメラ露出シャッターに正しく合わせることができる。

対応して、ユニットの同期は、着用式アクティブ３Ｄシャッターグラス内に含まれるシャッターシーケンスのタイミングは、低頻度の短いバーストのうちの少なくとも１つに合わせられることを意味し、それにより、左および右のシャッターは、同期されたプロジェクタまたはディスプレイ画像が提示される時期に関連する適切な瞬間にシャッター状態を変化させる。３Ｄシャッターグラス内に含まれる正確なローカルの水晶ベースのタイマを用いることで、たとえ新しいバーストが数秒間検出されなくても、シーケンスイベントのタイミングは、同期されたプロジェクタまたはディスプレイユニットに正しく合わせることができる。

対応して、ユニットの同期は、着用式、および任意追加的に半透明の、ディスプレイグラスのタイミングおよび更新レートは、低頻度の短いバーストのうちの少なくとも１つに合わせることができることを意味し、それにより、出力画像は、例えば、同期されたプロジェクタまたはディスプレイ画像が提示される時期に関連する適切な瞬間に更新される。着用式ディスプレイグラス内に含まれる正確なローカルの水晶ベースのタイマを用いることで、たとえ新しいバーストが数秒間検出されなくても、画像更新のタイミングは、同期されたユニットに正しく合わせることができる。

入力画像の更新レート、出力画像の更新レート、発光体の点滅レート、能動的インタラクションデバイスの点滅レート、３Ｄシャッターグラスのシャッターレート、および着用式ディスプレイグラスの更新レートは任意選択的に異なってもよいが、いかなる場合でも、同じ無線の低頻度の短いバーストから派生させることができる。

有利には、本発明の諸態様は、例えば、無線の低頻度の短いバーストはリッスン・アンド・リピート方式に従って各ユニットによって再送信され、それにより、無線の低頻度の短いバーストは部屋の隅々に分配される等の利点を含む。

有利には、本発明の諸態様は、例えば、上述のリッスン・アンド・リピート方式は、バースト繰り返し遅延のために単純なランダム化機能を利用すること、つまり、各ユニットは、他のユニットのバーストをリッスンするべき時期、およびそれ自身の同期されるバーストを送信するべき時期をランダム化すること等の利点を含む。これらの有利な機構によって、ここにある全てのユニットが、同期されるバーストの伝播に寄与することができるため、システム内の専用マスタユニットの通常の必要性が取り除かれる。

本発明の諸態様が本明細書において添付の図面を参照しつつ単なる例として説明される。

ビジュアルシステムは、２つの同期されるインタラクティブプロジェクタを含む、本発明の構成例の図である。 図２Ａ〜２Ｄは、本発明のランダム化遅延同期原理を用いるリッスン・アンド・リピートの図である。 図２Ｅ〜２Ｈは、本発明のランダム化遅延同期原理を用いるリッスン・アンド・リピートの図である。 本発明のランダム化遅延同期原理を用いるリッスン・アンド・リピートの図であって、同期されるユニット（例えばカメラ、プロジェクタ、ディスプレイ）および同期される関連デバイス（例えばインタラクションオブジェクト、３Ｄシャッター）における受信器信号および内部信号も含む図である。 本発明のランダム化遅延同期原理を用いるリッスン・アンド・リピートのための同期回路図の一例の図であって、同期されるユニット（例えばカメラ）内の受信器信号および内部信号も含む図である。 本発明のランダム化遅延同期原理を用いるリッスン・アンド・リピートのための同期アルゴリズムであって、記号の時間および時間切れパラメータＴ１〜Ｔ１１を用いてパラメータ化された同期アルゴリズムの一例の図である。 本発明の図５Ａのようなランダム化遅延同期原理を用いるリッスン・アンド・リピートのための同期アルゴリズムの一例の図であって、構成例のためにあり得る数値を含む、記号の時間および時間切れパラメータＴ１〜Ｔ１１、および状態遷移に対するそれらの関係をさらに説明する図である。 図４の同期回路図において用いられる通りの周波数を調整するためにパルス幅変調入力（ｐｕｌｓｅ−ｗｉｄｔｈ ｍｏｄｕｌａｔｉｏｎ、ＰＷＭ）を用いる水晶ベースのクロックシンセサイザの一例の図である。 パルス幅変調入力（ＰＷＭ）を用いる水晶ベースのクロックシンセサイザの例は、図４の同期回路図において用いられる通りの周波数（偏移はｐｐｍで与えられる）をどのように調整することができるのかを示す図であって、周波数偏移はＰＷＭ信号のデューティサイクルの関数として示されている、図である。 １つずつ同期される３つのプロジェクタＰＪ３、ＰＪ２およびＰＪ１をオシロスコーププロットによって示す図であって、プロットにはＰＪ１のパルス幅変調入力（ＰＷＭ）が含まれ、本例ではＰＪ１の現在のＰＷＭ値は、８１５／２０４８のデューティサイクルＣ１／Ｃ２に対応する３９．８２％になっている、図である。 重力機能がＸＶＣＯをその中心値に向かって少しシフトさせることになるおかげで、重力機能は、新しいユニットがオフに切り替えられ、再びオンに切り替えられるたびにＸＶＣＯがますますシフトされるのを回避することをどのように助けるのかを一連の実験によって示す図である。 スプリング機能がＸＶＣＯをその中心値に向かって少しシフトさせ、中心値から大きな偏移がある場合には、より大きなステップでそれをシフトさせることになるおかげで、スプリング機能は、新しいユニットがオフに切り替えられ、再びオンに切り替えられるたびにＸＶＣＯが一方向にますますシフトされるのを回避することをどのように助けるのかを一連の実験によって示す図である。 本発明のランダム化遅延同期原理を用いるリッスン・アンド・リピートの図であって、ユニットは、インタラクションオブジェクトに同期されるカメラである、図である。 カメラにおけるグローバルシャッター露出制御ＧＳイベント、およびＮＩＲパルスのシーケンスの時間がそろうように、２つの連続したバーストを用いてカメラユニットおよび能動的インタラクションオブジェクトをどのように同期させることができるのかを示す図である。 インタラクションオブジェクトの、その識別（ＩＤ１対ＩＤ２）および先端スイッチ状態（押されている対放されている）を信号で伝達するためのパルスシーケンスを示す図である。 能動型インタラクションオブジェクトの、その識別（ＩＤ１対ＩＤ２）および先端スイッチ状態（押されている対放されている）を信号で伝達するためのパルスシーケンスのための原理および光学要素を示す図である。 受動型インタラクションオブジェクト内の再帰反射性光学的ディテールを利用するための原理および光学要素を示す図である。 半受動型インタラクションオブジェクトであって、その識別（ＩＤ１対ＩＤ２）および先端スイッチ状態（押されている対放されている）の能動的信号伝達のため、および追跡のためのパルスシーケンス、ならびに追跡および識別のため、および任意選択的に先端スイッチ状態等の検出のための反射性および／または再帰反射性光学的ディテールを含む、半受動型インタラクションオブジェクトのための原理および光学要素を示す図である。 カメラにおけるグローバルシャッター露出制御ＧＳイベント、およびＮＩＲパルスのシーケンスの時間がそろうように、２つの連続したバーストを用いてカメラユニットおよび能動的インタラクションオブジェクトをどのように同期させることができるのか、ならびに反射性および／または再帰反射性ディテールの照射は無変調パルスによってどのように遂行することができるのかを示す図である。 ビジュアルシステムは、２つの同期されるインタラクティブプロジェクタおよび３Ｄシャッターグラスの対を含む、本発明の構成例の図である。 ビジュアルシステムは、２つの同期されるインタラクティブプロジェクタおよび同期されるビデオカメラを含む、本発明の構成例の図である。 ビジュアルシステムは、インタラクションオブジェクトをキャプチャし、これらを追跡する２つの同期されるカメラを含み、インタラクション面はフラットパネルディスプレイである、本発明の構成例の図である。 ビジュアルシステムは、インタラクション面に向けられ、インタラクション面上のインタラクションオブジェクトの位置および状態をキャプチャし、これらを追跡する２つの同期されるカメラを含む、本発明の構成例の図である。 ビジュアルシステムは、２つの同期されるカメラおよび２つの同期されるフラットパネルディスプレイを含み、カメラは、インタラクション面および同期されるフラットパネルディスプレイに向けられ、フラットパネルディスプレイであるインタラクション面上のインタラクションオブジェクトの位置および状態をキャプチャし、これらを追跡する、本発明の構成例の図である。 ビジュアルシステムは、インタラクティブプロジェクタである１つのユニットと、仮想インタラクションフレームを有するインタラクティブな半透明の同期されるビデオグラスの対である１つのユニットとを含む、本発明の構成例の図である。 ビジュアルシステムは、１つの同期されるインタラクティブプロジェクタと、標準的なプロジェクタのそばに並置される１つの同期されるインタラクティブなカメラベースのユニットとを含む、本発明の構成例の図である。

本発明の諸態様は、ビジュアルおよびインタラクティブビジュアルシステムの同期システムおよび方法に関する。

本発明の少なくとも１つの実施形態の実装および動作を詳細に説明する前に、本発明は、その適用において、以下の記載において説明され、図面に示されている構成要素の構造および配置の詳細に限定されず、本発明は他の実施形態の形で実装されるか、または様々な方法で実施される、もしくは実行されることが可能であることを理解されたい。さらに、本明細書において用いられている表現および用語は説明の目的のためのものであり、限定と見なすべきではないことを理解されたい。

本発明の諸態様に係る同期システムおよび方法の原理および動作は、図面および添付の説明を参照することでより良く理解される。

まず、ビジュアルシステム、およびそのユニットの同期の原理が説明される。その後、いくつかの好ましい実施形態の詳細な説明がその詳細なシステム動作原理とともに記載される。

図１、図１８、図１９、図２０、図２１、図２２、図２３および図２４によって与えられている通りの例示的な構成を参照することによって、ビジュアルシステムの動作、およびそのユニットの同期の原理が説明される。図は好ましい実施形態のハードウェア構成を概略的に示している。

図１では、ハードウェア構成は、ここではＰＪ１およびＰＪ２と示される２つ以上のユニット１を含むインタラクティブビジュアルシステム２２を含み、ユニット１は各々、表示デバイス、すなわち、出力画像を投影およびインタラクション面４７上に投影するプロジェクタ２、任意追加の発光体３が投影およびインタラクション面４７を照射しつつ投影およびインタラクション面４７をキャプチャするカメラ９、無線受信器１１、無線送信器１２、マイクロコントローラまたは特定用途向けデジタル回路のような計算およびデータ収集手段１０、ならびにインタラクションオブジェクト４を含む。インタラクションオブジェクト４は、カメラ９によって検出可能であるように適合される、少なくとも１つの受動的光学的ディテール５または１つの能動的光学的ディテール６を含んでもよい。インタラクションデバイス４は、受動的ディテール５および能動的ディテール６のあらゆる種類の組み合わせを含んでよい。このようなインタラクティブビジュアルシステム２２では、カメラ９は互いに同期される。その一方で、プロジェクタ２からの画像の更新は任意選択的に同期することができるが、通常はこのインタラクティブ機能のために同期される必要はない。インタラクションオブジェクト４が作動している場合には、それらはカメラ９と同期され、任意追加の発光体３がカメラ９と同期されてもよい。

図１において、および以下において説明される他の例示的な構成のほとんどの場合において、ハードウェア構成は、２つ以上のユニット１を含むインタラクティブビジュアルシステム２２を含む。しかし、いずれの場合においても、たとえ、１つの単一のユニット１しか存在しなくても、または１つの単一のユニット１しかスイッチが入っていなくても、カメラ９、任意追加の発光体３、プロジェクタ２からの画像の更新の間の同期、およびカメラ９とインタラクションオブジェクト４との間のユニット−デバイス間同期のための原理は同じである。同様に、ユニット−ユニット間同期のための原理は、１つのユニットしか存在しない状況、または１つのユニットしかスイッチが入っていない状況、あるいは１つもしくはいくつかのユニットが順にスイッチを入れられ、切られる場合、およびスイッチが入っている２つもしくはいくつかのユニットが同じ室内にある場合に対処することになる。

以下において、本発明者らはＰＪ１およびＰＪ２（および第３のＰＪ３）をインタラクティブプロジェクタと呼ぶことにする。

図２Ａ〜２Ｈを参照すると、図１とほぼ同様であるが、２つのユニット１ではなく、インタラクティブプロジェクタＰＪ１、ＰＪ２およびＰＪ３である３つのユニット１が存在する、例示的な構成のための本発明における同期の原理が示されている。図示のものと同じ同期原理は、例えば、図１８〜２４に示されている例示的な構成のような、本発明の全ての他の構成のために適用されてもよい。同期の原理は、プロジェクタＰＪ１、ＰＪ２およびＰＪ３はどのように１つずつスイッチが入れられるのか、ならびにそれらは、すでに作動しているプロジェクタにどのように同期されるのかによって、すなわちこのユニット−ユニット間同期のための原理に基づいて、説明されることになる。

さらに、本発明に係る例示的な構成は、以下において、同期システムのために無線ＮＩＲ（もしくはＩＲ）受信器および無線ＮＩＲ（もしくはＩＲ）送信器を考慮することになるが、その一方で、短いＲＦバーストを送るように適合された無線ＲＦ送信器およびＲＦ受信器を用いても同じ有利な特性を説明することができる。さらに、上述した通りの無線式解決法の代わりに、電気的有線式または光学的有線式の解決法を本同期原理のために利用することもできる。

提案されている同期方式にＮＩＲ（もしくはＩＲ）ベースの受信器および送信器を利用することによって、バースト継続時間が長すぎるか、またはバーストが頻繁にありすぎる場合には、ＩＲベースのリモートコントローラにおけるもの等のＮＩＲ（もしくはＩＲ）のその他の使用は影響を受け、乱され得る。したがって、本発明の好ましい実施形態では、２つ（または３つ）の短いバーストの後に、変調されたＮＩＲ（またはＩＲ）のない、いくつかの同様の時間間隔の休止期間が存在する。これらの期間においては、他のＮＩＲ／ＩＲベースのデバイスおよびシステムは中断を生じることなく通信してよく、例えば、そのおかげで、人はプロジェクタ自身または何らかの他の視聴覚機器をそれらのそれぞれのリモートコントローラによって誤りなく制御することができる。

インタラクションオブジェクト／デバイスのための図１１〜１７においてより詳細に説明されるように、カメラ−ペン間同期（より一般的には、ユニット−デバイス間同期）のために少なくとも２つの連続した短いバーストが必要とされる一方で、室内の全てのインタラクティブプロジェクタ（ユニット）のカメラ−カメラ間同期（一般的には、ユニット−ユニット間同期）のために３番目の短いバーストが確保される。２つの同期機構は、室内の全てのユニットが同期されることを確実にするため、ならびに（ペンおよびその他のインタラクションオブジェクト、３Ｄシャッターグラス等のような）単純なデバイスが、同期されたユニットに同期されることを確実にするために、必要とされる。インタラクティブプロジェクタおよびペンの特別な場合では、室内のインタラクティブプロジェクタ内に組み込まれた全てのカメラおよび任意選択的にプロジェクタは同期され、それにより、それらはそれらの短いバーストを同じ時間インスタンスにおいて送り出し、室内の全てのペンはこれらのバーストに基づいて同期される。すなわちペンはこれらの短いバーストのタイミングに基づいてそれらのＩＲ−ＬＥＤを点滅させ、図１１〜１７に関して以下にさらに詳細に説明されるように、カメラによって検出されることができる。

ユニット−ユニット間同期のために提案されている原理はリッスン・アンド・リピート原理と示され、周知のマスタ−スレーブ原理に比較して有利であると考えられる。本発明の進歩性によれば、リッスン・アンド・リピート原理は、各インタラクティブプロジェクタ（または一般的には、各ユニット）が、ユニット自身が同期されるとすぐに、室内における短い同期バーストのさらなる分配に寄与することを確実にする暗黙的な「リピータ」機能を含む。この特徴は１つのユニット１から別のユニット１へのバーストを増やし、配信するのに役立つ。同様に、反対に、同期バーストが室内に存在しない場合には、いくらかの待ち時間の後、ユニットは、同期プロセスを開始するために短いバーストを送り出すことを開始することになる。

同期方式は以下におけるように説明することができる。
第１のユニット１、インタラクティブプロジェクタＰＪ１、がスイッチを入れられ、受信モードに入ると、本発明者らはまず、室内には短い同期バーストは存在しないことを前提とする（図２Ａの左部分参照）。ＰＪ１はしばらくの間、受信モードであったが、ＰＪ１は短い繰り返しバーストを検出しなかった後、次に、ＰＪ１は、２つの短いバーストＭＡ．１およびＭＡ．２、ならびに任意選択的に、短い同期バーストＳＡを発信することを開始すると決定することになる（図２Ａ参照）。一般的に、ユニットは２つの短いバーストＭＡ．１およびＭＡ．２ならびにＭＢ．１およびＭＢ．２を出力し、位置ＳＡまたはＳＢのいずれかにおいて同期バーストを出力することになる（それぞれ、図２Ａ〜２Ｂおよび図２Ｃ参照）。これらの２つ〜３つの短いバースト（ＭＡ．１、ＭＡ．２および任意選択的にＳＡ）の後、次の２つ〜３つのバースト（ＭＢ．１、ＭＢ．２および任意選択的にＳＢ）の前に、この例示的な構成では、プロジェクタからのバーストが１つもない休止が存在し（図２Ｂ〜２Ｄ参照）、次に、シーケンスが再び繰り返される前に、この例示的な構成では、プロジェクタからのバーストが１つもないさらなる休止が存在することになる（図２Ｂ〜２Ｄ参照）。

ＭＡ．１およびＭＡ．２、ならびにＭＢ．１およびＭＢ．２の主目的は、それぞれ、ユニット−デバイス間同期のためのものである。これは、インタラクションデバイス４が、そのペン点滅シーケンスを開始するために、正しい幅および離間距離の少なくとも連続したバーストに対して必要とするためである。

バーストＳＡおよびＳＢの主目的は、それぞれ、ユニット−ユニット間同期のためのものであり、これらのユニット−ユニット間同期バーストＳＡまたはＳＢの平均化された開始時間がそれぞれ、各ユニットが非常に精密な内部同期信号を定義するために用いられる。無論、ＳＡおよびＳＢバーストの発生はユニット−デバイス間同期のために用いることもできる。なぜなら、それらはユニット−デバイス間同期バーストと同じ主幅および前のパルスまでの距離を有するからである。しかし、ＳＡ ａｎ ＳＢについては、それらが発生する保証はなく、そのため、ユニット−デバイス間同期はそれらの存在に依存するべきではない。

図２Ｆ〜２Ｈに示されている例示的な方式では、１６個の短いバースト期間Ｂ１〜Ｂ１６の典型的なシーケンスが存在することになる。シーケンスは繰り返され、それにより、Ｂ１〜Ｂ１６のシーケンスの後、同じＢ１〜Ｂ１６が再び繰り返される。各同期されたユニットは、１６個のバースト期間の時間内にちょうど５つのこのような短いバーストを常に出力することになるが、その同期バーストをＳＡの「位置」において出力するべきか、それともＳＢの「位置」において出力するべきか（それぞれ、図２Ｆおよび図２Ｇ参照）の選択は疑似乱数機能によって決定される。

上述のように、まず、短い同期バーストは室内に存在しないことを前提とする（図２Ｅの左部分参照）。ＰＪ１はしばらくの間、受信モードであったが（図５における状態Ｓ２−「無音テスト」参照）、ＰＪ１は短い繰り返しバーストを検出しなかった後、次に、ＰＪ１は状態Ｓ６−「マスタ」に入り（図５参照）、２つの短いバーストＭＡ．１およびＭＡ．２、ならびに任意選択的に、短い同期バーストＳＡを発信することを開始することになる（図２Ｅ参照）。一般的に、ユニットは２つの短いバーストＭＡ．１およびＭＡ．２ならびにＭＢ．１およびＭＢ．２を出力し、位置ＳＡまたはＳＢのいずれかにおいて同期バーストを出力することになる（それぞれ、図２Ｆおよび図２Ｇ参照）。これらの２つ〜３つの短いバースト（ＭＡ．１、ＭＡ．２および任意選択的にＳＡ）の後、この場合には、次の２つ〜３つのバースト（ＭＢ．１、ＭＢ．２および任意選択的にＳＢ）の前に、この例示的な構成では、プロジェクタからのバーストが１つもない、通常は６つ、または任意選択的に５つの短いバースト期間の休止が存在し（図２Ｆ〜２Ｈ参照）、次に、シーケンスが再び繰り返される前に、この例示的な構成では、プロジェクタからのバーストが１つもない、通常は６つ、または任意選択的に５つの短いバースト期間のさらなる休止が存在することになる（図２Ｆ〜２Ｈ参照）。

さらに、ＰＪ１は、それが作動された時に、バーストを全く見つけなかったため、あるいはそれは、状態Ｓ３−「同期」に入った後の、ランダムに選択されたＴ１ＡまたはＴ１Ｂのいずれかのテスト期間の間に、別のユニットからの他の短い繰り返しバースト（すなわち、シーケンスＭＡ．１、ＭＡ．２、任意選択的にＳＡ、ＭＢ．１、ＭＢ．２または任意選択的にＳＢ）を見つけなかったため、それは一時的な「マスタ」の役割、状態Ｓ６−「マスタ」に入る（図５Ａにおけるフロー図参照）。この一時的な「マスタ」モードにおいてさえ、それは、（ランダムに選ばれた）時間Ｔ１０またはＴ１１以内に、それ自身に同期されていない他のバーストが存在するかどうかをチェックすることになり、次に、ＰＪ１はそれ自身のバーストまでオフに切り替え、ＰＪ１自身の送信バーストからの外乱を受けずに他のユニットのバーストを探すために、状態Ｓ８−「送信を伴わない有効なバーストのチェック」においてチェックを行うことになる。他のユニットの有効なバーストが検出された場合には、次に、ＰＪ１は、図５Ａにおける状態Ｓ３−「同期」によってこれらの有効なバーストに恐らく同期することを開始するために、状態Ｓ１−「開始」に入る必要があることになる。

この場合には、ＰＪ１は、それは、他のユニットまたは何らかの他のバースト雑音が室内に存在しているかどうかを定期的にチェックすることになることを除いて、一時的な「マスタ」モードになり、それは他のユニットに適合または同期しようと試みることはしない。以下において、本発明者らは、いつ第２のユニットが導入され、第２のユニットはＰＪ１からの既存の信号に適合および同期することになるのかを見、最後に、本発明者らは、一時的な「マスタ」であった第１のＰＪ１がオフに切り替えられ、再びオンに切り替えられたために一時的な「マスタ」がなくなった状態で、全てのプロジェクタＰＪ１、ＰＪ２、ＰＪ３が互いに適合および同期されている状況を説明する。

したがって、上述のように、ＰＪ１は状態Ｓ６−「マスタ」にあり、別のユニット１、すなわちインタラクティブプロジェクタＰＪ２がオンにされると仮定する。ＰＪ２は状態Ｓ３−「同期」に入ることになり、それがＴ６の時間切れ以内に同期バーストを検出しさえすれば、状態Ｓ４−「同期維持」へすぐに移動することになる。

ＰＪ２のようなユニット（１）が状態Ｓ４−「同期維持」にある間は、それはＭＡ．１、ＭＡ．２、任意選択的にＳＡ、ＭＢ．１、ＭＢ．２および任意選択的にＳＢを送信することになるが、その同期バーストをＳＡの「位置」において出力するのか、それともＳＢの「位置」において出力するのかの選択（それぞれ、図２Ｂおよび図２Ｃ（あるいは図２Ｆおよび図２Ｇ）参照）は疑似乱数機能によって選択され、次に、ユニットは、ユニットがそれ自身の同期バーストを送信している以外の「位置」にあるＳＡまたはＳＢの「位置」において検出された同期バーストの開始時間の平均に基づいて、その内部同期信号推定を常に更新することになり、そのため、ユニット１がその同期バーストをＳＡの「位置」において送信している場合には、それは、ＳＢの「位置」における同期バーストの開始時間を検出し、これを測定することになり、逆の場合も同じである。リッスン・アンド・リピートと示されるこの原理のおかげで、ユニット−ユニット間同期の精度はユニット１自身のバースト送信によって乱されない。

再度、ＰＪ１はＳ６−「マスタ」状態にあり、ＰＪ２は状態Ｓ４−「同期維持」にあると仮定し、第３のユニット１、すなわちインタラクティブプロジェクタＰＪ３がオンにされると仮定する。ＰＪ３は状態Ｓ３−「同期」に入ることになり、それがＴ６の時間切れ以内に同期バーストを検出しさえすれば、状態Ｓ４−「同期維持」へすぐに移動することになる。

ＰＪ３のようなユニット１が状態Ｓ４−「同期維持」にある間は、それはＭＡ．１、ＭＡ．２、任意選択的にＳＡ、ＭＢ．１、ＭＢ．２または任意選択的にＳＢを送信することになるが、その同期バーストをＳＡの「位置」において出力するのか、それともＳＢの「位置」において出力するのかの選択（それぞれ、図２Ｂおよび図２Ｃ（あるいは図２Ｆおよび図２Ｇ）参照）は上述同様に疑似乱数機能によって選択され、次に、ユニットは、ユニットがそれ自身の同期バーストを送信している以外の「位置」にあるＳＡまたはＳＢの「位置」において検出された同期バーストの開始時間の平均に基づいて、その内部同期信号推定を常に更新することになり、そのため、ユニット１がその同期バーストをＳＡの「位置」において送信している場合には、それは、ＳＢの「位置」における同期バーストの開始時間を検出し、これを測定することになり、逆の場合も同じである。リッスン・アンド・リピートと示されるこの原理のおかげで、ユニット−ユニット間同期の精度はユニット１自身の送信によって乱されず、同期バーストは１つのユニット１から別のユニット１へ分配され、別のユニット１によって選ばれる送信時間は、検出された同期バースト開始時間の平均に基づく。この場合において、これらの開始時間はユニット１自身のバースト送信によって乱されない。

疑似ランダム選択は、単純な線形フィードバックシフトレジスタのような疑似乱数発生器に基づき、実行中の画像フレーム番号をシードとして用いることができる。

オンになっていた第１のユニット１、ＰＪ１は今、オフに切り替えられ、再びオンに切り替えられたと仮定する。この場合には、ＰＪ１はＰＪ２およびＰＪ３にすぐに同期されることになり、状態Ｓ４−「同期維持」になることになり、そのため、この場合には、ユニット１は今やどれも一時的な「マスタ」ではなくなる。

全てのユニット１は、他のものの短い同期バーストの平均開始時間に位相ロックされる。

図４には、カメラベースの解決法に適した同期ハードウェアの好ましい実施形態が示されており、この同期ハードウェアは、受信検出信号ＢＵＲＳＴ＿ＲＸを有する受信器１１と、バースト送信信号ＢＵＲＳＴ＿ＴＸを有する送信器１２と、信号ＮＩＲ＿ＩＬＬＵＭによって制御されるＮＩＲ照射のための任意追加の発光体３と、クロック信号ＣＬＫ２によってクロック制御されるＣＭＯＳ画像センサ２７を含み、フレーム有効信号ＦＶ、ライン有効信号ＬＶ、ピクセルデータＰＤＡＴＡ、ピクセルクロックＰＣＬＫ、および露出タイミング信号ＧＳ（Ｇｌｏｂａｌ ｓｈｕｔｔｅｒ、グローバルシャッター）を出力するカメラ９と、ＧＳ信号に基づき、クロック信号ＣＬＫ２によってクロック制御され、内部同期信号ＩＮＴ．ＳＹＮＣを発生する任意追加のタイミング発生器２５と、受信されたバースト信号の開始時間イベントをキャプチャすることができ、平均推定を行うことができ、その推定によって、パルス幅変調信号ＰＷＭのデューティサイクルを制御することができる計算およびデータ収集手段１０であって、それにより、クロックシンセサイザ２８の回路は、システムクロックＣＬＫ１および派生カメラクロックＣＬＫ２を生成し、派生カメラクロックＣＬＫ２は、ＧＳ信号、もしくは推定されたバースト周波数平均とできる限り等しい周波数を有する派生ＩＮＴ．ＳＹＮＣ信号を生じさせる、計算およびデータ収集手段１０と、を含む。

同期ハードウェアの好ましい実施形態（図６参照）では、パルス幅変調信号ＰＷＭは、ＶＸＶＣＯ電圧信号を生成するためのクロックシンセサイザブロック２８内のローパス（ｌｏｗ ｐａｓｓ、ＬＰ）フィルタ、例えば受動的ＲＣフィルタ、によってフィルタリングされる。ローパスフィルタは、電圧で制御される水晶ベースのクロックシンセサイザ２６に接続される。クロックシンセサイザ２６は、クロックＣＬＫ１〜ＣＬＫＮのための出力クロック周波数を±Ｍ（ｐｐｍ）だけ調整することができる。ここで、Ｍは通常、選択された水晶ＸＴＡＬの引き込み範囲特性に依存して、±２０〜±１５０の範囲内にある。図７において、０Ｖ〜１．７９９Ｖの範囲のローパスフィルタリングされた電圧ＶＸＶＣＯに対応する、０〜２０４７／２０４８の範囲のＰＷＭカウンタを用いた、０．０％〜９９．９５％の範囲のデューティサイクルのＰＷＭ信号によって制御された場合、あり得る水晶について得られる引き込み範囲は−４３ｐｐｍ〜＋４８ｐｐｍの範囲に及んでいる。

全てのユニット１は、他のものの短い同期バーストの平均開始時間に位相ロックされ、ユニット１は、同期を維持するために、他のユニット１の同期バーストの開始時間のそれらの平均推定に基づいてそれらのタイミングおよび位相を常時調整することになるので、このようなシステムは何らかのパラメータ非対称性または外乱によってある方向にドリフトし得るというリスクがある。得られるシステムを安定にするために、各ユニットにおける周波数の調整は、重力機能と示される戦略案によって、定期的にその中心周波数に向けて固定量だけ誘導されることになる。さらに、別の戦略案も適用され、スプリング機能と示されており、この場合には、その中心周波数に向けて誘導される調整は、中心周波数からの偏移がより大きければ、より強くなることになる。重力機能またはスプリング機能のいずれかのようなこうした安定化機能は、一部の構成例では、状態Ｓ４−「同期維持」において作動し、どのユニットも状態Ｓ６−「マスタ」にないシステムが、同期された周波数をユニットの通常の中心周波数の近くに維持する性質を有することになるのを手助けする。

一時的な「マスタ」が存在しない場合、すなわち、ユニットが１回または数回、オフおよびオンに切り替えられた場合には、上述した通りのこうした重力またはスプリング機能が適用されなければ、調整されたクロック周波数はドリフトし得る。図８では、ＰＪ１ストローブ、ＰＪ２ストローブおよびＰＪ３ストローブと示されるそれらの整列したバースト信号によって分かる通り、３つのユニット１が同期されているが、これがキャプチャされた時点におけるＰＪ１の周波数調整信号ＰＪ１ ＰＷＭデューティサイクルＣ１／Ｃ２は４０％未満（すなわち３９．８２％）であった。これに対して、もしドリフトが生じず、ユニットおよびシステムが理想的であったならば、５０％前後近くが期待値であったであろう。通常、信号雑音、コードインプリメンテーション誤差および異なる部品公差が存在するものであり、これらは、非対称的でランダムな振る舞いを引き起こすことになり、これによって、ユニットは、例えば、図８に示されるように、いずれかの方向へのドリフトを開始するように強いられる場合がある。

図９には、重力機能の効果が実験によって示されている。この場合には、表が示すように、２つのユニット１、ＰＪ１およびＰＪ５が繰り返しオフおよびオンにされており、ＰＪ５がオフおよびオンにされている際に周波数がＰＪ１によって下方へドリフトしてくると、ＰＪ１がオフおよびオンにされている際にＰＪ５がそれを上方へ引き上げる。

図１０には、スプリング機能の効果が実験結果によって示されている。この場合には、表が示すように２つのユニット１、ＰＪ１およびＰＪ２が繰り返しオフおよびオンにされており、テストサイクル１〜４（シーケンス番号１〜８）における長い４０分の時間間隔について、およびテストサイクル４〜１０（シーケンス番号９〜２１）のためのより短い５分の時間間隔について示されているように、システム内に「マスタ」は存在していないにもかかわらず、周波数は非常に安定している。

好ましい実施形態では、タイミング発生器２５の信号によってカメラＧＳから派生される内部同期信号と、推定バースト同期信号との位相差は０になるべきである。これは、上述したようにクロック周波数を変化させることによって行うことができるが、ＰＷＭ（およびＶｘｖｃｏ）信号によるクロック周波数の調整を開始するために位相差が十分小さくなるまで、１つ以上のフレーム内の垂直帰線消去期間を変化させるようにカメラをそのプログラミングバスによってプログラムすることによって、（最初に）大きな位相差は低減することができる。図５Ａを参照されたい。ここでは、１）垂直帰線消去時間プログラミングが、状態Ｓ３−「同期」において位相を「大まかに調整する」ために用いられ、２）ＰＷＭデューティサイクル制御が、状態Ｓ３−「同期」および状態Ｓ４−「同期維持」に関する、さらにより細かい調整のために用いられる。

本発明の好ましい実施形態によれば、リッスン・アンド・リピート原理は、いくつかのユニット１は、それらがスイッチを入れられ、先に説明したように、状態Ｓ３−「同期」において、クロック周波数および内部同期信号を推定し、これらを調整するために十分なバーストを受信すると、すぐに同期されることを可能にし、マスタ−スレーブの役割等を定義するための手動または半自動の設定の必要性はない。ユニットは、それらが導入されると、自動的に同期されることができ、それはまさに「プラグ＆プレイ」である。しかし、さらに、図３に示されているように、単純な周辺デバイスも同期させることができる。１つ以上のユニット１は、上述したように、ＭＡバーストおよびＳＡもしくはＳＢバーストを生成し、次に、図４におけるＢＵＲＳＴ＿ＲＸ信号は、図３におけるように、ＭＡバースト２９の検出時に（いくらか遅延した）低レベルパルス３０の信号を有し、ユニット１のうちの１つが実際は（それらの疑似乱数機能によって）ＳＡの「位置」において同期バースト４３を出力する場合には、低レベルパルス４５を有し、および／またはユニット１のうちの１つが実際は（それらの疑似乱数機能によって）ＳＢの「位置」において同期バースト４４を出力する場合には、低レベルパルス４６を有することになる。ユニット内には、信号イベント３５、３６、３７および３８のシーケンスによって示されているように、例えば、内部プロセスおよび露出を同期させるためのカメラのＧＳ（グローバルシャッター）信号のような、異なるローカルの同期信号が存在し得る。本発明の一部の好ましい実施形態では、図１４におけるもののような単純な周辺デバイスは、図１４における受信器２０、または図１８における受信器１１を含むことになる。受信器は、２９、３９、４３および／または４４のようなＭＡ、ＭＢ、ＳＡおよびＳＢバースト（図１１参照）を、受信器の出力ＰＤ信号の低レベルパルス３０ならびに／あるいは４５および／または４６として検出することができる。それにより、周辺デバイスは、それぞれ、例えば、インタラクションデバイス内のＩＲＥＤ ６（図１４参照）の点滅のような、異なる機能を制御するように適合され、例えば、図１８における着用式３Ｄシャッターグラス内の左／右シャッター２３の交替を制御するように適合される自身の内部同期信号位相３１、３２、３３を合成することができる。

革新的なリッスン・アンド・リピート原理の１つの利点は、ユニット１の同期のための短いバーストがユニット自身によって部屋中に伝播されることを含む。

さらに、本原理は、どのユニットがマスタであり、どれがスレーブであるのかを定義する必要がないという利点を有する。

図１２を参照すると、１つ以上のユニット１、この場合には少なくともインタラクティブプロジェクタＰＪ１が、近赤外線送信を用いることによってバースト信号２９および３９を送信する、本発明の好ましい実施形態が説明されている。

インタラクティブプロジェクタＰＪ１は、この場合には、カメラの露出制御、すなわちシャッター幅ＧＳに同期される、近赤外線（ＮＩＲ）波長範囲内の変調されたパルス列（Ｍ）である、少なくとも２つの短いバーストを送り出す（図１２における信号ＣＴ参照）。これらの２つの短いバースト２９および３９は、この場合ではペンとして言及されるインタラクションオブジェクト４によって、それらの典型的なバースト幅およびそれらの典型的な繰り返し間隔（２９と３９との間の時間）に基づいて認識され、インタラクションオブジェクト４は、その赤外光発光ダイオードＩＲＥＤ ６によって、カメラの露出制御を参照した適切なタイミングにおいてその無変調ＮＩＲパルス３１、３２、および３３のうちの１つ以上を出力することになり、それにより、各ＮＩＲパルスはそれぞれカメラのシャッター幅３６、３７および３８の範囲に入る。ペンのＮＩＲパルスのこの同期は各送信ＮＩＲパルスの最適なカメラ露出を可能にし、露出積算時間を定義するカメラのシャッター幅を、期待されるＮＩＲパルスよりもほんのわずかに大きくすることによって、他のＮＩＲおよびＩＲ光源からのノイズを抑える。

その結果、この同期は、水晶の周波数ドリフトおよび同期ジッタの余裕を認めるための少量のマージン分のみ大きくされ、ＮＩＲパルス長に適合されたシャッター幅を用いた、良好な露出タイミング制御を意味するので、最適を、ＮＩＲパルスおよびシャッター窓がちょうど重なり合う場合と定義すれば、達成される信号対雑音比はほとんど最適となる。信号対雑音比が高くなることは、出力されるＮＩＲ ＬＥＤ強度を低減し、かくして、ペンの電力消費を低減し、かくして、ペンの電池寿命を延ばすことが可能になることを意味する。

同期を行わない既存の解決法は、カメラの露出シャッターに合わせてペンのＮＩＲ放出パルスをスケジュールすることができない。露出シャッターが長すぎると、ペンの動きによる不鮮明化が生じる場合があり、これによって、キャプチャされる画像の品質が低下することになり、それゆえ、画像信号処理および画像特徴抽出が制限され、追跡性能および速度が低下する。このような同期を行わない既存の解決法は、カメラによって検出されるためにペンがＮＩＲ信号を絶え間なく出力しなければならないこと、およびさらに、不鮮明化を回避するためにカメラのシャッター幅が制限されなければならないことを必要とすることになる。このようなシステムは、検出されるために必要な絶え間ないＮＩＲ放出のために、ペンにおけるより多くの電力消費を必然的に必要とすることになる。

提案されているシステムの例示的な構成では、ペンは、３２０μｓのシャッター窓内で１６０μｓの長さのＮＩＲパルスを送信してもよく、ペン先端状態およびペン識別の信号伝達のために、２６．６Ｈｚのペン座標更新毎に通常２つ〜３つのパルス（平均約２．５）が必要とされる（図１３参照）。Ｙが、提案されているシステムのパルス内の瞬時電力であれば、同じ信号対雑音比を得るために、絶え間なく発光するペンは、Ｙ＊１６０μｓ／３２０μｓ＝０．５＊Ｙの瞬時電力を必要とする。同じ信号対雑音条件が要求される場合には、提案されている同期されるペンのためのＮＩＲ発光による平均電力消費の低減は、この例示的な構成では、同期されないペンの平均電力消費と比較して、２．１％になる（Ｙ＊２．５＊１６０μｓ＊２６．６／（０．５＊Ｙ＊１００００００μｓ≒２．１％）。

さらに、提案されているシステムと反対に、このような同期を行わないＮＩＲ発光ペンは、カメラによって検出され、一方でそれと同時にカメラによって継続的に追跡されるために、その識別子および／または先端スイッチ状態情報を信号で伝達することができない。

図１３では、本発明の好ましい実施形態に係るペンの信号伝達は、いくつかの連続したペン位相、すなわち、一番上の図においてそれぞれ３１、３２、３３によって示される位相１、位相２および位相３におけるペンの単純な点滅シーケンスに基づく、識別（ＩＤ１、ＩＤ２）および先端状態（先端は押されている、先端は放されている）を含む。ペンの点滅シーケンスは、図１２に関して先に説明したように、典型的な幅および時間間隔の２つの短いバースト２９および３９を受信した後に開始する。たとえ、しばらくの間（例えば次の０．３秒以上の間）ユニットからのさらなる短いバーストが存在しなくても、ペンは、３１、３２、３３と同じ内部タイミング関係を有し、短いバースト２９および３９の間の時間間隔とほとんど同じ点滅シーケンス間時間間隔を有する、４０、４１および４２のような新しい点滅シーケンスを出力し続けることになり、それにより、ペンにおける正確な内部水晶ベースのタイミング推定のおかげで、これらの点滅シーケンス内の各点滅パルスはグローバルシャッター（ＧＳ）積算時間内に位置付けられることになり、そのため、最後の同期バースト２９および３９が受信された後の０．３秒以上後でさえ、ペンのパルスイベントはカメラフレームによって非常に正確にキャプチャされることになる。キャプチャされたカメラフレームのシーケンスは分析され、特徴抽出手段を含むカメラは、ペンのＩＲＥＤ ６の位置およびさらにペンのＩＲＥＤ ６の点滅シーケンスを見つけることができる。ＩＲＥＤ ６の点滅シーケンスを分析することから、ペンのＩＤ（ＩＤ１対ＩＤ２）、ならびにペンの先端状態、すなわち「先端は押されている」または「先端は放されている」を特定することが可能である。

図１３の一番上には、ＩＤ１を有するペンのＩＲＥＤ ６の典型的な点滅シーケンスが示されている。ここで、４つの位相の各々の短いシーケンスは、ペンの受動的な再帰反射性または反射性ディテール５（図１５参照）を検出するためのカメラの発光体３の任意追加的な点滅のために確保されている初期位相（３１と示されているペン位相１の左にハッチングされた正方形として図示）から開始する。次の３つの位相は、３つのペン位相、すなわち、図１３の一番上においてそれぞれ３１、３２、３３によって示される位相１、位相２および位相３である。３つのこのような短いシーケンスは、ペンは識別子ＩＤ１のものであること、およびペン先端の現在の状態を信号で伝達するために必要とされる。図１３における上の表は、ＩＤ１シーケンスの短いシーケンス１、２および３毎に、先端が「押されている」場合、およびペン先端が「放されている」場合に、ペンはペン位相、位相１、位相２および位相３においてどのように点滅することになるのかを記述している。

図１３の一番上のすぐ下には、ＩＤ２を有するペンのＩＲＥＤ ６の典型的な点滅シーケンスが示されている。ここで、４つの位相の各々の短いシーケンスは、ペンの受動的な再帰反射性または反射性ディテール５（図１５参照）を検出するためのカメラの発光体３の任意選択的な点滅のために確保されている初期位相（３１と示されているペン位相１の左にハッチングされた正方形として図示）から開始する。次の３つの位相は、３つのペン位相、すなわち、図１３の一番上においてそれぞれ３１、３２、３３によって示される位相１、位相２および位相３である。４つのこのような短いシーケンスは、ペンは識別子ＩＤ２のものであること、およびペン先端の現在の状態を信号で伝達するために必要とされる。図１３における下の表は、ＩＤ２シーケンスの短いシーケンス１、２、３および４毎に、先端が「押されている」場合、およびペン先端が「放されている」場合に、ペンはペン位相、位相１、位相２および位相３においてどのように点滅することになるのかを記述している。

本発明の好ましい実施形態は、図１４に示される通りのインタラクションデバイス４である。デバイス４はここではペンとして形成され、先端１６と、波長依存フィルタまたはコーティング１９と、マイクロコントローラのような計算手段１７と、１つ以上の受信器２０と、１つ以上の電池セル１８と、種々の方向のＮＩＲ光または光線１３を放出する先端ＩＲＥＤ ６であって、光線の一部はカメラ９に当たることになり、任意追加の波長依存フィルタ２１を通過してもよい、先端ＩＲＥＤ ６と、を含む。

本発明の別の好ましい実施形態は、図１５に示される通りのインタラクションデバイス４である。デバイス４はここではペンとして形成され、先端１６と、波長依存フィルタまたはコーティング１９と、１つ以上の再帰反射性または反射性ディテール５と、発光体３であって、発光体からの光線１５Ａは５によって後方反射され、それにより、一部の光線１５Ｂはカメラ９に当たることになり、任意追加の波長依存フィルタ２１を通過してもよい、発光体３と、を含む。

本発明の別の好ましい実施形態は、図１６に示される通りのインタラクションデバイス４である。デバイス４はここでは、図１４および図１５の原理を組み合わせたペンとして形成され、先端１６と、波長依存フィルタまたはコーティング１９と、１つ以上の再帰反射性または反射性ディテール５と、発光体３であって、発光体からの光線１５Ａは５によって後方反射され、それにより、一部の光線１５Ｂはカメラ９に当たることになり、任意追加の波長依存フィルタ２１を通過してもよい、発光体３と、マイクロコントローラのような計算手段１７と、１つ以上の受信器２０と、１つ以上の電池セル１８と、異なる方向のＮＩＲ光または光線１３を放出する先端ＩＲＥＤ ６であって、光線の一部はカメラ９に当たることになり、任意追加の波長依存フィルタ２１を通過してもよい、先端ＩＲＥＤ ６と、を含む。

図１７には、各ユニット１が同期（および任意追加的に照射）バースト２９、３９を送信し、発光体が無変調点滅パルス３４を送信する、本発明の好ましい実施形態が示されている。インタラクションデバイス４は、能動的点滅ＩＲＥＤパルスが３１、３２、３３等のように送信され、カメラがそれぞれの露出シャッター間隔３６、３７、３８内にキャプチャしている一方で、露出シャッター間隔３５内に点滅パルス３４によって照射され、カメラによってキャプチャされる再帰反射性または反射性ディテールを有してもよい。無変調点滅パルス３４はバースト受信器を乱すことはない。

図１によって与えられている通りの例示的なハードウェア構成を参照することによって、ビジュアルシステムの動作およびそのユニットの同期の原理が説明された。図１８、図１９、図２０、図２１、図２２、図２３および図２４には、好ましい実施形態の他のハードウェア構成が概略的に示されている。

図１８では、ハードウェア構成は、図１において説明されている通りの２つのユニット１を含むインタラクティブビジュアルシステム２２を含み、プロジェクタ２からの画像の更新が同期され、さらに、マイクロコントローラもしくは特定用途向けデジタル回路のような計算およびデータ収集手段１０、および無線受信器１１、ならびに任意追加的に無線送信器１２によって制御される着用式３Ｄシャッターグラス２３も含み、それにより、３Ｄシャッターグラスを画像の更新に同期させることができる。

図１９では、ハードウェア構成は、３つのユニット１を含むインタラクティブビジュアルシステム２２を含む。ここで、２つのユニット１は、例えば図１において説明されている通りのものであり、１つのユニット１は、マイクロコントローラもしくは特定用途向けデジタル回路のような計算およびデータ収集手段１０によって制御されるビデオカメラ９、および無線受信器１１、ならびに任意追加的に送信器１２を有し、それにより、ビデオカメラ９による画像キャプチャはデータプロジェクタ２による画像の更新に同期され、それにより、ビデオ録画はちらつきがないものになってよい。

図２０では、ハードウェア構成は、任意追加の発光体３がインタラクション面およびフラットパネルディスプレイ表面７を照射しつつインタラクション面およびフラットパネルディスプレイ表面７をキャプチャするカメラ９、受信器１１、送信器１２、マイクロコントローラまたは特定用途向けデジタル回路のような計算およびデータ収集手段１０、ならびにインタラクションオブジェクト４を各々含む、カメラベースの入力デバイスである２つのユニット１を含むインタラクティブビジュアルシステム２２を含む。インタラクションオブジェクト４は、カメラ９によって検出可能であるように適合される、少なくとも１つの受動的光学的ディテール５または１つの能動的光学的ディテール６を含んでもよい。インタラクションデバイス４は、受動的ディテール５および能動的ディテール６のあらゆる種類の組み合わせを含んでよい。このようなインタラクティブビジュアルシステム２２では、カメラ９は互いに同期されるが、一方で、２つのフラットパネルディスプレイ７による画像の更新はカメラ９に同期されない。

インタラクションオブジェクト４が作動している場合には、それらはカメラ９と同期され、任意追加の発光体３がカメラ９と同期されてもよい。

図２１では、ハードウェア構成は、任意追加の発光体３がインタラクション面４８を照射しつつインタラクション面４８をキャプチャするカメラ９、受信器１１、送信器１２、マイクロコントローラまたは特定用途向けデジタル回路のような計算およびデータ収集手段１０、ならびにインタラクションオブジェクト４を各々含む、入力デバイスである２つのユニット１を含むインタラクティブビジュアルシステム２２を含む。インタラクションオブジェクト４は、カメラ９によって検出可能であるように適合される、少なくとも１つの受動的光学的ディテール５または１つの能動的光学的ディテール６を含んでもよい。インタラクションデバイス４は、受動的ディテール５および能動的ディテール６のあらゆる種類の組み合わせを含んでよい。このようなインタラクティブビジュアルシステム２２において、カメラ９は互いに同期される。インタラクションオブジェクト４が作動している場合には、それらはカメラ９と同期され、任意追加の発光体３がカメラ９と同期されてもよい。

図２２では、ハードウェア構成は、フラットパネルディスプレイ７と、任意追加の発光体３がインタラクション面およびフラットパネルディスプレイ表面７を照射しつつフラットパネルディスプレイ７の表面であるインタラクション面をキャプチャするカメラ９を含む２つのユニット１と、を含む、２つのユニット１を含むインタラクティブビジュアルシステム２２を含む。各ユニット１は、受信器１１、送信器１２、マイクロコントローラまたは特定用途向けデジタル回路のような計算およびデータ収集手段１０、ならびにインタラクションオブジェクト４をさらに含む。インタラクションオブジェクト４は、カメラ９によって検出可能であるように適合される、少なくとも１つの受動的光学的ディテール５または１つの能動的光学的ディテール６を含んでもよい。インタラクションデバイス４は、受動的ディテール５および能動的ディテール６のあらゆる種類の組み合わせを含んでよい。このようなインタラクティブビジュアルシステム２２において、カメラ９は互いに同期される。インタラクションオブジェクト４が作動している場合には、それらはカメラ９と同期され、任意追加の発光体３がカメラ９と同期されてもよい。全てのユニット１が同期されてよい。

図２３では、ハードウェア構成は、２つのユニット１を含むインタラクティブビジュアルシステム２２を含み、一方のユニットは、ここではＰＪ１と示され、表示デバイス、すなわち、出力画像を投影およびインタラクション面４７上に投影するプロジェクタ２を含む、インタラクティブプロジェクタであり、他方のユニットは、出力画像を仮想表示およびインタラクション面４７上に表示する半透明ディスプレイグラス２４を含む、着用式インタラクティブグラスであり、各ユニットは、任意追加の発光体３が投影およびインタラクション面４７を照射しつつ投影およびインタラクション面４７をキャプチャするカメラ９、受信器１１、送信器１２、マイクロコントローラまたは特定用途向けデジタル回路のような計算およびデータ収集手段１０、ならびにインタラクションオブジェクト４をさらに含む。インタラクションオブジェクト４は、カメラ９によって検出可能であるように適合される、少なくとも１つの受動的光学的ディテール５または１つの能動的光学的ディテール６を含んでもよい。インタラクションデバイス４は、受動的ディテール５および能動的ディテール６のあらゆる種類の組み合わせを含んでよい。このようなインタラクティブビジュアルシステム２２では、カメラ９は互いに同期され、その一方、プロジェクタ２からの投影画像の更新および半透明グラス２４による仮想ディスプレイの更新は任意選択的に、３Ｄのため、および仮想現実機能のために同期させることができるが、さもなければ、同期させる必要はない。インタラクションオブジェクト４が作動している場合には、それらはカメラ９と同期され、任意追加の発光体３がカメラ９と同期されてもよい。

図２４では、ハードウェア構成は、任意追加の発光体３が投影およびインタラクション面４７を照射しつつ投影およびインタラクション面４７をキャプチャするカメラ９、無線受信器１１、無線送信器１２、マイクロコントローラまたは特定用途向けデジタル回路のような計算およびデータ収集手段１０、ならびにインタラクションオブジェクト４を含む、２つ以上のユニット１を含むインタラクティブビジュアルシステム２２を含む。ユニット１は、ＰＪ１におけるように、投影およびインタラクション面４７上に出力画像を投影するデータプロジェクタ２を含んでもよく、あるいはユニット１は、Ｐ２のような、投影およびインタラクション面４７上に出力画像を投影するデータプロジェクタユニット２から分離されていてもよい。インタラクションオブジェクト４は、カメラ９によって検出可能であるように適合される、少なくとも１つの受動的光学的ディテール５または１つの能動的光学的ディテール６を含んでもよい。インタラクションデバイス４は、受動的ディテール５および能動的ディテール６のあらゆる種類の組み合わせを含んでよい。このようなインタラクティブビジュアルシステム２２において、カメラ９は互いに同期される。インタラクションオブジェクト４が作動している場合には、それらはカメラ９と同期され、任意追加の発光体３がカメラ９と同期されてもよい。

本発明に係る各種の実施形態が提示され、有線式および無線式の構成において利用されることができ、標準的な低コストデバイスを、リモートコントローラ内に通常含まれるＮＩＲ受信器およびＮＩＲ ＬＥＤ、ならびに同じくリモートコントローラ内に含まれるバーストベースのＲＦ受信器および送信器として利用することができる、リッスン・アンド・リピート原理と示される、この汎用性のある「プラグ・アンド・プレイ」同期原理に基づく本発明の利点が明確に説明されている。例示的な構成は、時間の３／８＊５００μｓ／３７５００μｓ≒０．５％においてのみ送信を行うことになり、それゆえ、ＩＲ／ＮＩＲリモートコントローラの使用は影響を受けないことになる。バーストベースのＲＦ送信器および受信器が利用されることもでき、通常、時間の１／８＊６０μｓ／３７５００μｓ≒０．０２％送信を行うだけでよいことになる。これは、ＲＦベースのリモートコントローラもこの同期によって影響を受けることはないことを意味する。

好ましい実施形態における同期は、少なくとも３０ｍｓ離間し、４Ｈｚの平均バースト周波数を有する低頻度の短いバーストを利用してもよく、ＮＩＲ／ＩＲバースト長は５００μｓという短さになり得る。

本発明は、利用可能な低コストのマイクロコントローラおよびプログラム可能デバイスを用いた高品質で精密な露出制御のために、低コストのインタラクションデバイスに非常に適している。本発明は、プログラム可能な低コストのＣＭＯＳ画像センサを利用することにも非常に適している。細かい同期のために、ＸＶＣＯによって制御される水晶ベースのクロックシンセサイザと組み合わせ、垂直帰線消去期間を一時的に変化させることによって信号の位相を迅速に調整するためにＣＭＯＳ画像センサにおけるプログラム可能な機能を用いる本発明の方式は、非常に高速で、信頼性が高く、低コストの同期をもたらす。

様々な実施形態、態様、および組み合わせは単なる好ましいものであり、任意選択的なものであることが意図されているため、以上において説明された本発明の実施形態および諸態様に対する変更およびそれらの種々の組み合わせが、添付の請求項によって定義されている通りの本発明の範囲から偏移することなく、可能である。本発明を説明し、主張するために用いられている「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「組み込む（ｉｎｃｏｒｐｏｒａｔｉｎｇ）」、「〜からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」、「有する（ｈａｖｅ）」、および「〜である（ｉｓ）」等の表現は、非限定的に解釈されることが意図されている。すなわち、明示的に説明されていない項目、構成要素または要素も存在することを許すことが意図されている。単数への言及は、複数にも関すると解釈されるべきである。添付の請求項における括弧内に含まれている数は、請求項の理解を補助することが意図されており、けっして、これらの請求項によってクレームされている主題を限定するものと解釈してはならない。

Claims (18)

1. ユニットであって、
   第１のバーストを送信する送信器と、
   前記第１のバーストに同期してインタラクションオブジェクトを検出するカメラと、
   他のユニットから送信される第２のバーストを受信する受信器と、を備え、
   前記送信器は、前記受信器が前記第２のバーストを受信した場合に、受信した前記第２のバーストと同じタイミングで前記第１のバーストを送信し、
   前記カメラは、前記第２のバーストと同じタイミングで送信された前記第１のバーストに同期して前記インタラクションオブジェクトから届く光を検出することを特徴とするユニット。
2. 請求項１に記載のユニットであって、
   前記第１のバーストは、複数個のバーストを含んで構成され、
   前記送信器は、前記第１のバーストを送信する第１の期間と、前記第１のバーストを送信しない第２の期間とを交互に繰り返し、
   前記第２の期間は、前記第１の期間よりも長いことを特徴とするユニット。
3. 請求項１又は２に記載のユニットであって、
   画像を表示する表示デバイスをさらに備えることを特徴とするユニット。
4. 請求項３に記載のユニットであって、
   前記表示デバイスは、プロジェクターであることを特徴とするユニット。
5. 請求項３に記載のユニットであって、
   前記表示デバイスは、フラットパネルディスプレイであることを特徴とするユニット。
6. 請求項３に記載のユニットであって、
   前記表示デバイスは、ディスプレイグラスであることを特徴とするユニット。
7. 請求項１〜６のいずれか一項に記載のユニットであって、
   前記カメラは、前記インタラクションオブジェクトに備わる光源が前記第１のバーストに同期して発した光を検出することを特徴とするユニット。
8. 請求項１〜７のいずれか一項に記載のユニットであって、
   前記第１のバーストに同期して前記インタラクションオブジェクトに光を照射する発光体をさらに備え、
   前記カメラは、前記発光体から照射されて前記インタラクションオブジェクトで反射した光を検出することを特徴とするユニット。
9. 請求項１〜８のいずれか一項に記載のユニットであって、
   前記送信器及び前記受信器は、赤外線通信によって送受信を行うことを特徴とするユニット。
10. 請求項１〜８のいずれか一項に記載のユニットであって、
    前記送信器及び前記受信器は、無線周波数通信によって送受信を行うことを特徴とするユニット。
11. 請求項１〜８のいずれか一項に記載のユニットであって、
    前記送信器及び前記受信器は、双方向電線又は双方向光ファイバ線によって前記他のユニットと送受信を行うことを特徴とするユニット。
12. 請求項１〜１１のいずれか一項に記載のユニットであって、
    前記第１のバーストは、複数個のバーストを含んで構成され、
    前記第１のバーストを構成している少なくとも一つのバーストを送信するか否を、疑似乱数機能に基づいて決定することを特徴とするユニット。
13. インタラクションオブジェクトと、ユニットと、を備えたビジュアルシステムであって、
    前記ユニットは、
    第１のバーストを送信する送信器と、
    前記第１のバーストに同期して前記インタラクションオブジェクトを検出するカメラと、
    他のユニットから送信される第２のバーストを受信する受信器と、を備え、
    前記送信器は、前記受信器が前記第２のバーストを受信した場合に、受信した前記第２のバーストと同じタイミングで前記第１のバーストを送信し、
    前記カメラは、前記第２のバーストと同じタイミングで送信された前記第１のバーストに同期して前記インタラクションオブジェクトから届く光を検出することを特徴とするビジュアルシステム。
14. 請求項１３に記載のビジュアルシステムであって、
    前記インタラクションオブジェクトは、前記第１のバーストを受信する受信器と、受信した前記第１のバーストに同期して光を発する光源と、を備え、
    前記ユニットの前記カメラは、前記インタラクションオブジェクトの前記光源が発する光を検出することを特徴とするビジュアルシステム。
15. 請求項１４に記載のビジュアルシステムであって、
    前記インタラクションオブジェクトの前記光源は、発光シーケンスによって、前記インタラクションオブジェクトの識別子を前記ユニットに伝達することを特徴とするビジュアルシステム。
16. 請求項１４又は１５に記載のビジュアルシステムであって、
    前記インタラクションオブジェクトの前記光源は、発光シーケンスによって、前記インタラクションオブジェクトの先端スイッチの状態及び他の入力動作の状態の少なくとも１つを前記ユニットに伝達することを特徴とするビジュアルシステム。
17. 請求項１４〜１６のいずれか一項に記載のビジュアルシステムであって、
    前記インタラクションオブジェクトの前記光源は、前記インタラクションオブジェクトの前記受信器が前記第１のバーストを受信した後に、前記カメラのシャッターの開放タイミングに合わせて発光させ、３回の連続するビデオフレームのうちの少なくとも１つの期間を利用して、前記インタラクションオブジェクトの識別子、先端スイッチの状態及び入力動作の状態の少なくとも１つを伝達することを特徴とするビジュアルシステム。
18. インタラクションオブジェクトを検出する検出方法であって、
    ユニットが、他のユニットから送信される第２のバーストを受信し、
    前記ユニットが、前記第２のバーストを受信した場合に、前記第２のバーストと同じタイミングで第１のバーストを送信し、
    前記ユニットが、前記第２のバーストと同じタイミングで送信された前記第１のバーストに同期して前記インタラクションオブジェクトから届く光を検出することを特徴とする検出方法。

Images